[論文レビュー] CLIP-Dissect: Automatic Description of Neuron Representations in Deep Vision Networks

Tuomas Oikarinen, Tsui-Wei Weng|arXiv (Cornell University)|Apr 23, 2022

Cell Image Analysis Techniques被引用数 9

ひとこと要約

CLIP-Dissect は、CLIP などの事前学習済みビジョン・ランゲージモデルを用いて、深層ビジョンネットワーク内の個々のニューロンの機能的概念を自動的に記述する、トレーニング不要でモデルに依存しない手法である。最終層のニューロンのラベリングにおいて最先端の正確性を達成しており、従来手法の10倍以上高速であるため、ResNet-50の全ニューロンの分析を4分未満で迅速に実行可能である。

ABSTRACT

In this paper, we propose CLIP-Dissect, a new technique to automatically describe the function of individual hidden neurons inside vision networks. CLIP-Dissect leverages recent advances in multimodal vision/language models to label internal neurons with open-ended concepts without the need for any labeled data or human examples. We show that CLIP-Dissect provides more accurate descriptions than existing methods for last layer neurons where the ground-truth is available as well as qualitatively good descriptions for hidden layer neurons. In addition, our method is very flexible: it is model agnostic, can easily handle new concepts and can be extended to take advantage of better multimodal models in the future. Finally CLIP-Dissect is computationally efficient and can label all neurons from five layers of ResNet-50 in just 4 minutes, which is more than 10 times faster than existing methods. Our code is available at https://github.com/Trustworthy-ML-Lab/CLIP-dissect. Finally, crowdsourced user study results are available at Appendix B to further support the effectiveness of our method.

研究の動機と目的

• 概念検出に高価な人手によるアノテーションが要される従来のニューロン解釈手法の限界を是正すること。
• 固定された概念セットやピクセルレベルのアノテーションに依存せずに、ニューロン表現の自動的かつオープンエンドのラベリングを可能にすること。
• 計算効率が高く、大規模モデルにスケーラブルであり、将来のマルチモーダルモデルにも適応可能な柔軟な手法を開発すること。
• ニューラルネットワーク表現に関する構造的知見を明らかにすること、例えば重みの大きさと概念の類似性の関係など。

提案手法

• CLIP-Dissect は、事前学習済みのCLIPモデルを活用し、入力画像とニューロンの活性パターンを共通のテキスト・画像埋め込み空間にマップする。
• 各ニューロンについて、最も高い活性を示す画像を特定し、CLIP を用いてニューロンの機能に関するオープンエンドのテキスト記述を生成する。
• CLIPで埋め込み処理されたニューロンの活性パターンと、CLIPで埋め込み処理されたテキストプロンプトとの類似度を計算し、最も意味的に整合性の高い概念ラベルを同定する。
• この手法は完全に推論ベースであり、ファインチューニングやトレーニングデータを必要としないため、モデルに依存せずスケーラブルである。
• ノイズや外れ値に対して頑健性を確保するため、各ニューロンごとに上位k個の活性統計を用いて代表的な画像を選択する。
• 新しい概念へも拡張可能であり、より優れたビジョン・ランゲージモデルが登場すれば、それらを容易に統合できる。

実験結果

リサーチクエスチョン

• RQ1 CLIP などのビジョン・ランゲージモデルを用いて、ラベルなし、人手によるアノテートされた概念なしで、ニューロンの機能を自動的に記述できるか？
• RQ2 既知の正解ラベルを持つ最終層ニューロンのラベリングにおいて、CLIP-Dissect は Network Dissection や MILAN と比較してどの程度正確性が高いか？
• RQ3 深層ネットワークにおける重みの大きさと、それらのニューロンがエンコードする概念の類似性の間には、どの程度の相関があるか？
• RQ4 CLIP-Dissect は、Broden のような従来のプローブ用データセットに存在しない概念を検出できるか？
• RQ5 CLIP-Dissect は、従来のニューロン解釈手法と比較して、どの程度計算効率が優れているか？

主な発見

• CLIP-Dissect は、正解ラベルが利用可能な最終層ニューロンのラベリングにおいて、Network Dissection や MILAN を上回る正確性を達成した。
• CLIP-Dissect は、ResNet-50 の5層すべてのニューロンをわずか4分間でラベリングでき、従来手法より10倍以上高速である。
• ニューロン間の接続重みの大きさと、それらがエンコードする概念の意味的類似性との間に強い相関（r = 0.258、p < 10−300）が存在する。
• 高い重みで接続されたニューロンは、類似した概念を表しており、最終層の表現がすでに非常に局所的かつ意味的に整合性を持っていることが示唆される。
• Broden データセットに存在しない概念を効果的に検出できたため、固定された概念セットを超えて一般化できる能力を示している。
• CLIP-Dissect は、高重み接続が類似した概念をエンコードするニューロン同士を結ぶ傾向があるというネットワークアーキテクチャに関する新たな知見をもたらした。