[論文レビュー] Quantifying Learnability and Describability of Visual Concepts Emerging in Representation Learning

Iro Laina, Ruth Fong+1 more|arXiv (Cornell University)|Oct 27, 2020

Multimodal Machine Learning Applications参考文献 69被引用数 4

ひとこと要約

本稿では、自己教師あり表現学習によって発見された視覚的概念の解釈可能性を定量化するための、2つの客観的で人間ベースの指標——学習可能性（learnability）と記述可能性（describability）——を導入する。人間のアノテーターを分類器として用いて学習可能性を測定し、自然言語による記述からクラスを認識できるかをテストすることで記述可能性を評価することで、著者たちは、主観性を低減し、人間と自動化されたキャプション生成システムのクラスレベルの記述を比較可能な、原理的でスケーラブルな評価フレームワークを提供する。

ABSTRACT

The increasing impact of black box models, and particularly of unsupervised ones, comes with an increasing interest in tools to understand and interpret them. In this paper, we consider in particular how to characterise visual groupings discovered automatically by deep neural networks, starting with state-of-the-art clustering methods. In some cases, clusters readily correspond to an existing labelled dataset. However, often they do not, yet they still maintain an "intuitive interpretability". We introduce two concepts, visual learnability and describability, that can be used to quantify the interpretability of arbitrary image groupings, including unsupervised ones. The idea is to measure (1) how well humans can learn to reproduce a grouping by measuring their ability to generalise from a small set of visual examples (learnability) and (2) whether the set of visual examples can be replaced by a succinct, textual description (describability). By assessing human annotators as classifiers, we remove the subjective quality of existing evaluation metrics. For better scalability, we finally propose a class-level captioning system to generate descriptions for visual groupings automatically and compare it to human annotators using the describability metric.

研究の動機と目的

• 自己教師あり学習を用いて発見された視覚的概念の解釈可能性を評価するための、原理的で客観的なフレームワークを開発すること。
• 主観的な名前付けや記述タスクに依存せず、人間のアノテーターを分類器として用いることで、解釈可能性評価における主観性を低減すること。
• 特に ImageNet のような既存のラベル付きデータセットと一致しないクラスタに対して、人間が学習可能で記述可能であるかを定量化すること。
• 自動クラスレベルキャプションシステムが、人間レベルの記述可能性に匹敵する記述を生成できるかを調査すること。
• 人間と機械が生成した視覚クラスタの記述を、直接的かつ定量的に比較可能にするために、その両者を比較可能にする仕組みを提供すること。

提案手法

• 少数の例のみを用いて、人間のアノテーターが特定のクラスタに属するか否かを分類するように訓練し、その分類精度を意味的整合性の客観的指標とする。
• アノテーターにクラスタの自然言語記述を提示し、その記述に基づいて新しい例を正しく分類できるかを測定することで、記述可能性を評価する。
• 単一画像キャプションモデルから変換したクラスレベルキャプションシステムを用いて、視覚クラスタの自動記述を生成する。
• 自動キャプションの性能を、記述可能性指標を用いて人間によるアノテーションと比較し、機械生成記述の品質を検証する。
• 人間が学習可能性と記述可能性の両方をテストする強制選択実験の設定を設計し、客観性とスケーラビリティを確保する。
• 人間評価に依存せずに記述の品質を検証するための指標を導入し、視覚クラスタのキャプションシステムの自動ベンチマークを可能にする。

実験結果

リサーチクエスチョン

• RQ1 標準データセット（例：ImageNet）にラベルが存在しない視覚的概念であっても、少数の例から人間がその概念を学習できる程度はどの程度か？
• RQ2 視覚クラスタを、正確な認識を可能にする短い自然言語記述で的確に要約できるか？
• RQ3 自動キャプションシステムは、人間によるアノテーションと同等の品質の記述を、視覚クラスタに対してどれほど効果的に生成できるか？
• RQ4 提案された指標（学習可能性と記述可能性）は、解釈可能性研究における主観的評価の代替として、客観的かつスケーラブルな代替手段として機能できるか？
• RQ5 自己教師ありモデルは、標準的な画像分類ラベルでは捉えきれない意味的に整合性のある視覚的概念を発見できるか？

主な発見

• 自己教師ありモデルは、ImageNet のような標準ラベルと一致しない場合でも、意味的に整合性のある視覚的概念を発見でき、それが高い人間の学習可能性スコアによって裏付けられている。
• 人間のアノテーターは少数の例に基づいて画像を分類する際に高い正確性を示しており、発見されたクラスタの意味的整合性が強いことを示している。
• 記述可能性指標は、自然言語記述が視覚クラスタの本質をどれだけ的確に捉えているかを定量的に測定できており、人間によるアノテーションの記述が、ほとんどの場合でベースラインの自動キャプションを上回っている。
• 提案されたクラスレベルキャプションシステムは、クラスタレベルのデータで微調整された場合、人間による記述と競合する品質の記述を生成できることを示している。
• このフレームワークにより、人間と機械が生成した記述を直接的かつ定量的に比較可能となり、適切に調整された自動システムが高水準の記述可能性を達成できることを実証した。
• 学習可能性と記述可能性の指標は、解釈可能性研究における主観的評価手法の代替として、スケーラブルで客観的な代替手段を提供する。