[論文レビュー] Interactive Naming for Explaining Deep Neural Networks: A Formative Study

Mandana Hamidi‐Haines, Zhongang Qi+3 more|arXiv (Cornell University)|Dec 18, 2018

Explainable Artificial Intelligence (XAI)被引用数 8

ひとこと要約

本稿では、人間を含むループ手法としてのインタラクティブネーミングを提案する。この手法は、軽量な説明ネットワーク（xNN）を用いて深層ニューラルネットワーク内の顕著な活性化マップを特定し、人間のアノテーターがこれらの特徴を解釈可能な視覚的概念にクラスタリング・命名できるようにする。研究では、アノテーター間の高い一貫性と広範な意味的カバレッジを示しており、大多数の活性化が認識可能な視覚的概念に対応していることが示され、画像分類タスクにおけるモデルの解釈可能性が顕著に向上することが明らかになった。

ABSTRACT

We consider the problem of explaining the decisions of deep neural networks for image recognition in terms of human-recognizable visual concepts. In particular, given a test set of images, we aim to explain each classification in terms of a small number of image regions, or activation maps, which have been associated with semantic concepts by a human annotator. This allows for generating summary views of the typical reasons for classifications, which can help build trust in a classifier and/or identify example types for which the classifier may not be trusted. For this purpose, we developed a user interface for "interactive naming," which allows a human annotator to manually cluster significant activation maps in a test set into meaningful groups called "visual concepts". The main contribution of this paper is a systematic study of the visual concepts produced by five human annotators using the interactive naming interface. In particular, we consider the adequacy of the concepts for explaining the classification of test-set images, correspondence of the concepts to activations of individual neurons, and the inter-annotator agreement of visual concepts. We find that a large fraction of the activation maps have recognizable visual concepts, and that there is significant agreement between the different annotators about their denotations. Our work is an exploratory study of the interplay between machine learning and human recognition mediated by visualizations of the results of learning.

研究の動機と目的

• 画像認識における深層ニューラルネットワークの意思決定の解釈性を向上させるために、モデルの活性化を人間が理解できる視覚的概念に関連付けること。
• 人間のアノテーターがDNNの重要なニューロンの活性化マップから意味のある視覚的概念を一貫して特定・命名できるかどうかを調査すること。
• 活性化マップのインタラクティブクラスタリングから得られる意味的説明の質とアノテーター間の一貫性を評価すること。
• 人間が生成した視覚的概念を用いて、テストセット全体におけるモデル行動の要約を構築する可能性を検討すること。
• 今後のアクティブラーニングおよびインタラクティブコンセプトラーニングのための基盤を築くこと。

提案手法

• 元のDNNに、『X特徴』と呼ばれるはるかに小さな中間層を備えたスパースな説明ネットワーク（xNN）を追加し、DNNの予測を模倣する。
• 各テスト画像について、xNNの最も影響力のあるニューロンに焦点を当て、顕著な活性化マップを抽出する。
• テスト画像のカテゴリに属するすべてのX特徴の活性化マップを、一括して表示するインタラクティブなユーザーインターフェースを設計する。
• 視覚的類似性と意味的整合性に基づき、アノテーターが活性化マップをグループ化・名前変更・統合・破棄・未分類化できるようにする。
• 得られた名前付きクラスタ（視覚的概念）を用いて、テストセットの予測に対する人間が読みやすい説明を生成する。
• アノテーターの名前付けの質を、アノテーター間一貫性、カバレッジ、言語的名前との自動マッチングによって評価する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 顕著な活性化マップのうち、何パーセントが人間のアノテーターによって意味的に命名可能であるか？
• RQ2 RQ2: 異なるアノテーターが視覚的概念を特定・グループ化する際の名前付けの一貫性はどの程度か？
• RQ3 RQ3: アノテーターが特定した視覚的概念が、ネットワーク内の実際のニューロンの活性化とどの程度一致するか？
• RQ4 RQ4: 自動マッチングシステムが、異なるアノテーターの名前付けをどの程度正確に変換できるか？
• RQ5 RQ5: 生成された視覚的概念を用いて、テストセット全体におけるモデル行動の意味的で高レベルの要約を構築できるか？

主な発見

• カテゴリ'a'のテストセット予測の56％以上が、視覚的概念ペア（'eye', 'close wing'）によって説明されており、これらの領域に強い注目が集まっていることが示された。
• カテゴリ'l'では、予測の88％以上が単一の概念'eye'によって説明されており、モデルが分類にこの特徴に強く依存していることが示された。
• どの活性化マップを命名するかについてのアノテーター間の一貫性は高く、グローバル平均のF1スコアが0.57であった。これは、意味的なクラスタリングに関して強い合意があることを示している。
• 自動生成マッチングと人間アノテート名との平均一致度は、グローバル平均でF1スコア0.978であった。これは、人間の意味的解釈と強い整合性があることを示している。
• 顕著な活性化マップの顕著な割合（平均で50％以上）が意味的に命名可能であり、大多数のテスト画像に対して部分的な意味的説明が可能になった。
• 一部の不一致はあったが、大多数の視覚的概念はアノテーター間で一貫して特定されており、インタラクティブネーミングプロセスの堅牢性と信頼性が示された。