[論文レビュー] A Game-Theoretic Taxonomy of Visual Concepts in DNNs

Xu Cheng, Chuntung Chu+3 more|arXiv (Cornell University)|Jun 21, 2021

Cell Image Analysis Techniques参考文献 33被引用数 7

ひとこと要約

本稿は、多階層の画素相互作用を用いて、深層ニューラルネットワーク（DNNs）内の視覚的概念のゲーム理論的分類法を提案する。視覚的概念の複雑さに基づき、単純（局所的）、中程度複雑、複雑（グローバル）に分類する。DNNsは低・中・高階層の相互作用を通じてテクスチャを柔軟に符号化しているが、形状の符号化はそれほど柔軟ではなく、階層をまたいで一貫した強固な相互作用パターンに依存しており、高階層の相互作用は主にグローバルまたは異常値特有の特徴を捉えている。

ABSTRACT

In this paper, we rethink how a DNN encodes visual concepts of different complexities from a new perspective, i.e. the game-theoretic multi-order interactions between pixels in an image. Beyond the categorical taxonomy of objects and the cognitive taxonomy of textures and shapes, we provide a new taxonomy of visual concepts, which helps us interpret the encoding of shapes and textures, in terms of concept complexities. In this way, based on multi-order interactions, we find three distinctive signal-processing behaviors of DNNs encoding textures. Besides, we also discover the flexibility for a DNN to encode shapes is lower than the flexibility of encoding textures. Furthermore, we analyze how DNNs encode outlier samples, and explore the impacts of network architectures on interactions. Additionally, we clarify the crucial role of the multi-order interactions in real-world applications. The code will be released when the paper is accepted.

研究の動機と目的

• 従来の物体や認知的分類法を超えて、多階層相互作用を用いた複雑さに基づく分類法を導入することで、DNN内の視覚的概念を再分類すること。
• DNNsが異なる相互作用階層を通じてテクスチャと形状をどのように符号化するかを分析し、符号化の柔軟性の違いを明らかにすること。
• 多階層相互作用が異常値サンプルの符号化に果たす役割と、モデルの汎化性および耐性に与える影響を調査すること。
• 特にカーネルサイズとレイヤー幅といったアーキテクチャ的選択が、多階層相互作用の学習に与える影響を検討すること。
• 多階層相互作用が分類性能の向上や敵対的影響の軽減にどのように活用できるかを明確にすること。

提案手法

• 本稿では、ゲーム理論のシャープレイ値を用いて、入力画素間の多階層相互作用を計算し、特徴表現への画素連携の限界的寄与度を測定する。
• 低階層相互作用（2〜3画素）は、基本的なテクスチャのような単純で局所的な視覚的概念を表す。高階層相互作用（4画素以上）は、空や草原地帯のような複雑でグローバルなパターンを捉える。
• 先行研究の拡張手法を用いて、顕著な相互作用コンテキストを可視化し、特徴活性化に最も寄与する画素群を解釈可能にする。
• カーネルサイズ（2×2、7×7、11×11）と幅（c、2c、4c、8c）を制御したResNetの変種を訓練し、アーキテクチャ的要因が相互作用強度と分離性に与える影響を調査する。
• 相互作用強度と分離性を定量的に測定し、モデルが一般化可能な共有相互作用を学習するか、分類固有の判別的相互作用を学習するかを評価する。
• 本手法を敵対的例の分析に応用し、その影響が高階層相互作用の乱れに起因することを関連付ける。

実験結果

リサーチクエスチョン

• RQ1 DNNにおける多階層相互作用は、テクスチャや形状のような視覚的概念の複雑さをどのように反映するか？
• RQ2 DNNsは、異なる相互作用階層を通じて、テクスチャと形状をどのように柔軟に符号化するか？
• RQ3 カーネルサイズやレイヤー幅といったアーキテクチャ的選択が、多階層相互作用の学習にどのように影響するか？
• RQ4 高階層相互作用は、画像内の異常値やグローバルパターンの符号化にどのような役割を果たすか？
• RQ5 多階層相互作用をどのように活用することで、モデルの耐性と汎化性を向上させられるか？

主な発見

• DNNsはテクスチャを3通りに符号化する：低階層で一般的な局所的色、中階層で類似テクスチャの微細な差異、高階層で頻繁に現れるグローバルテクスチャ（空や草原地帯）の符号化。
• テクスチャの符号化は非常に柔軟である。テクスチャは多数の低階層局所パターンの集合として表現できるし、少数の中階層複雑パターンとしても表現できるが、形状の符号化はそれほど柔軟ではなく、一貫性があり強固な相互作用パターンに依存している。
• 高階層相互作用は主に特定の大規模形状や異常値サンプルの符号化に貢献しており、珍しいまたは複雑なインスタンスの記憶に果たす役割を示している。
• 大きなカーネルサイズと広いレイヤーを持つResNetsは、より高い分離性と低い相互作用強度を示し、より少ないがより判別的かつ信頼性の高い相互作用を学習していることが示唆される。
• 小さなカーネルサイズと狭い幅は、特に低階層相互作用において、より一般化され、広く共有されるが、判別性が低い相互作用を生じる。
• 高階層相互作用は敵対的脆弱性と強く関連しており、敵対的摂動は主にこれらに影響を与え、その除去により耐性が向上する。