[論文レビュー] Automatic Concept Extraction for Concept Bottleneck-based Video Classification

Jeya Vikranth Jeyakumar, Luke Dickens+8 more|arXiv (Cornell University)|Jun 21, 2022

Explainable Artificial Intelligence (XAI)被引用数 6

ひとこと要約

本稿では、動画分類のためのクラウドソーシングによる自然言語説明から、複雑で複数フレームにわたる視覚的概念を自動で発見・抽出するモジュール CoDEx を提案する。自然言語処理を活用して、'鳥が飛んでいる' や 'バッターがボールを打つ' といった意味的にグループ化された抽象的概念を抽出することで、CoDEx は、手動での概念設計を必要とせず、複雑な動画タスクに一般化可能な概念ボトルネックモデルを可能にし、2つの新しい公開データセットにおいて競争力ある精度を達成するとともに、モデルの解釈性を向上させる。

ABSTRACT

Recent efforts in interpretable deep learning models have shown that concept-based explanation methods achieve competitive accuracy with standard end-to-end models and enable reasoning and intervention about extracted high-level visual concepts from images, e.g., identifying the wing color and beak length for bird-species classification. However, these concept bottleneck models rely on a necessary and sufficient set of predefined concepts-which is intractable for complex tasks such as video classification. For complex tasks, the labels and the relationship between visual elements span many frames, e.g., identifying a bird flying or catching prey-necessitating concepts with various levels of abstraction. To this end, we present CoDEx, an automatic Concept Discovery and Extraction module that rigorously composes a necessary and sufficient set of concept abstractions for concept-based video classification. CoDEx identifies a rich set of complex concept abstractions from natural language explanations of videos-obviating the need to predefine the amorphous set of concepts. To demonstrate our method's viability, we construct two new public datasets that combine existing complex video classification datasets with short, crowd-sourced natural language explanations for their labels. Our method elicits inherent complex concept abstractions in natural language to generalize concept-bottleneck methods to complex tasks.

研究の動機と目的

• 動画分類タスクに必要な十分な抽象的で複数フレームにわたる概念を手動で定義する課題に対処すること。
• 自然言語説明から自動的に概念を導出することで、概念ボトルネックモデルが複雑な動画行動に一般化できることを可能にすること。
• クラウドソーシングによる説明を活用して概念発見を自動化することで、ドメインエキスパートやデータアノテーターの負担を軽減すること。
• 自動抽出された概念が、深層ニューラルネットワークによって検出可能であるか、また人間が意味的に理解できる説明として認識されるかを評価すること。

提案手法

• CoDEx は、動画ラベルのクラウドソーシングによる自然言語説明を、原子的なテキスト断片に解析する自然言語処理技術を用いる。
• 埋め込みベースのクラスタリングを用いて関連する断片をグループ化し、'獲物を捕らえる' や '羽ばたく' といった複数フレームにわたる高レベルの抽象概念を捉える。
• 各クラスタの代表概念として最も頻度の高い概念を選択することで、意味的整合性と解釈可能性を保証する。
• 中間段階で概念予測を行い、最終的な動画ラベル分類に至る前の段階で実行する概念ボトルネックアーキテクチャを採用することで、モデルの干渉と説明が可能になる。
• 予測に最も寄与する概念を強調するため、注目メカニズムを適用し、解釈性を向上させる。
• 既存の動画データセットと短いクラウドソーシングによるラベル説明を組み合わせることで、MLB V2E および MSR-V2E の2つの新しい公開データセットを構築した。

実験結果

リサーチクエスチョン

• RQ1 機械は、動画分類のための自然言語説明から、複雑で複数フレームにわたる概念的抽象を自動で抽出できるか？
• RQ2 自動抽出された概念は、後続の動画分類タスクにおいて、深層ニューラルネットワークによって検出可能であり、かつ意味的に有用であるか？
• RQ3 機械が抽出した概念は、正しい動画ラベル分類のための意味的で人間が理解できる説明として機能するか？
• RQ4 事前に定義されたエキスパートが選定した概念を必要とせずに、概念ボトルネックフレームワークを複雑な動画タスクに一般化できるか？

主な発見

• CoDEx は、'バッターが振り抜く' や 'ボールが地面に落ちる' といった、時間的空間的関係を捉える複数フレームにわたる複雑な概念を、自然言語説明から豊富に抽出できた。
• MLB V2E データセットでは、MLP分類器を用いた CoDEx を搭載した概念ボトルネックモデルが 68.38% の精度を達成し、性能に大きな損失を伴わず、解釈性においてベースラインのエンドツーエンドモデルを上回った。
• MSR-V2E データセットでは、MLP分類器を用いたモデルが 61.68% の精度を達成し、異なる動画分類タスクへの一般化能力を示した。
• 人間評価により、自動抽出された概念が、動画ラベル予測のための意味的で有用な説明として認識されたことが確認された。
• 注目メカニズムは、'外野手' や 'ピッチャー' のような、分類意思決定において最も影響力のある概念を効果的に強調した。
• 本手法により、エキスパートが定義した概念への依存が軽減され、クラウドソーシングによる説明を活用することで、アノテーション作業の負担が軽減された。