[論文レビュー] Interactive Classification for Deep Learning Interpretation

Ángel Alexander Cabrera, Fred Hohman+2 more|arXiv (Cornell University)|Jun 14, 2018

Explainable Artificial Intelligence (XAI)参考文献 11被引用数 6

ひとこと要約

本稿では、ブラウザ上で実行されるインタラクティブなウェブベースのシステムを提示しており、ユーザーが画像の領域を補完法で除去することで、深層学習画像分類モデルのロバストネスをリアルタイムで探索できる。TensorFlow.jsを用いたブラウザ内推論と、補完法アルゴリズム（TeleaおよびPatchMatch）により、モデルの失敗と耐性の両方を明らかにしている。例えば、ボートのマストを除去した後、ドックの画像がオーシャンライナーに誤分類される事例や、野球選手の画像でボールやグローブ、ベースを除去しても依然として正しく分類される事例が観察された。

ABSTRACT

We present an interactive system enabling users to manipulate images to explore the robustness and sensitivity of deep learning image classifiers. Using modern web technologies to run in-browser inference, users can remove image features using inpainting algorithms and obtain new classifications in real time, which allows them to ask a variety of "what if" questions by experimentally modifying images and seeing how the model reacts. Our system allows users to compare and contrast what image regions humans and machine learning models use for classification, revealing a wide range of surprising results ranging from spectacular failures (e.g., a "water bottle" image becomes a "concert" when removing a person) to impressive resilience (e.g., a "baseball player" image remains correctly classified even without a glove or base). We demonstrate our system at The 2018 Conference on Computer Vision and Pattern Recognition (CVPR) for the audience to try it live. Our system is open-sourced at https://github.com/poloclub/interactive-classification. A video demo is available at https://youtu.be/llub5GcOF6w.

研究の動機と目的

• ユーザーが深層学習画像分類モデルの意味的画像変更への反応を探索できる、アクセスしやすくインタラクティブなシステムを開発すること。
• ユーザーが選択した画像操作とモデルの予測を比較することで、人間とモデルの認識の乖離を明らかにすること。
• 補完法と分類の組み合わせによる即時のフィードバックを通じて、モデルのロバストネスと感度の直感的理解を促進すること。
• 実際の画像に対してユーザー主導の「もしも」実験を実施することで、静的解析では検出できないモデルの限界と強みを示すこと。
• 解釈可能なAI分野における研究・教育を広く促進するため、システムをオープンソース化すること。

提案手法

• システムはReact.jsを用いて、画像操作のためのインタラクティブでブラウザベースのインターフェースを提供する。
• TensorFlow.jsを用いて、事前学習済みのSqueezeNetおよびMobileNetモデルをブラウザ上でリアルタイムに実行し、画像分類を実施する。
• ユーザーが選択した画像領域を除去するために、2種類の補完法アルゴリズム（Telea：高速でJavaScript実装、PatchMatch：高品質、Pythonサーバー経由）を用いる。
• 分類に必要な画像領域を可視化するため、必要に応じてクラス活性マップを計算する。
• ユーザーが領域を選択すると、システムは即座に変更された画像を再分類し、更新された上位5件の予測を表示する。
• システムはウェブアプリケーションとしてデプロイされており、サーバー側でのモデル推論を一切行わず、完全にクライアントサイドで動作する。

実験結果

リサーチクエスチョン

• RQ1 深層学習画像分類モデルは、ボートのマストや野球のボールといった重要なオブジェクトを除去するような意味的意味のある画像変更に対して、どのように反応するか。
• RQ2 モデルはどの程度特定の視覚的特徴に依存しているのか。これは人間の認識と比べてどう異なるか。
• RQ3 ユーザーがリアルタイムで画像をインタラクティブに操作する際、どのようなロバストネスと失敗モードが顕在化するか。
• RQ4 静的解析では検出できないモデルの脆弱性は、インタラクティブでユーザー主導の実験によって明らかにできるか。
• RQ5 異なる補完法技術は、画像変更下でのモデル挙動の現実性と解釈可能性にどのように影響を与えるか。

主な発見

• ボートのマストを除去した後、ドックの画像がオーシャンライナーに誤分類された。これはモデルのロバストネスにおける深刻な失敗を示している。
• 野球選手の画像でボール、グローブ、ベースを除去しても、依然として「野球選手」と正しく分類された。これはモデルの特徴除去に対する強い耐性を示している。
• システムにより、モデルがわずかな意味的変化（例：ボートのマストの一部除去）によって誤解を招くことがあることが明らかになった。
• クラス活性マップにより、モデルがしばしばコアオブジェクトではなく、目立つが非本質的な特徴（例：マストや背景要因）に依存していることが分かった。
• ユーザー主導の補完法とリアルタイム分類の組み合わせにより、最先端モデルにおける驚くべき失敗と耐性の挙動が同定された。
• オープンソース化されたシステムにより、再現可能でインタラクティブなモデル挙動の探索が可能となり、解釈可能なAI分野における教育・研究を支援する。