[論文レビュー] Explaining First Impressions: Modeling, Recognizing, and Explaining Apparent Personality from Videos

Hugo Jair Escalante, Heysem Kaya+15 more|arXiv (Cornell University)|Feb 2, 2018

Explainable Artificial Intelligence (XAI)参考文献 89被引用数 34

ひとこと要約

本論文は、説明可能なAI技術を用いて、動画から表面的気質をモデリング・認識・説明するためのフレームワークを提案する。説明可能な最初の印象分析のチャレンジを提示し、マルチモーダルな動画データと評価プロトコルを活用して、気質判断に影響を与える解釈可能な特徴を同定する。主な結果として、透明性の高いハイブリッドモデルが、自動評価における説得性を高め、バイアスを低減することを示している。

ABSTRACT

Explainability and interpretability are two critical aspects of decision support systems. Within computer vision, they are critical in certain tasks related to human behavior analysis such as in health care applications. Despite their importance, it is only recently that researchers are starting to explore these aspects. This paper provides an introduction to explainability and interpretability in the context of computer vision with an emphasis on looking at people tasks. Specifically, we review and study those mechanisms in the context of first impressions analysis. To the best of our knowledge, this is the first effort in this direction. Additionally, we describe a challenge we organized on explainability in first impressions analysis from video. We analyze in detail the newly introduced data set, the evaluation protocol, and summarize the results of the challenge. Finally, derived from our study, we outline research opportunities that we foresee will be decisive in the near future for the development of the explainable computer vision field.

研究の動機と目的

• 人間行動分析におけるコンピュータビジョンモデルの説明可能性と解釈可能性の欠如に取り組むこと、特に最初の印象や気質推定の分野において。
• 動画から表面的気質を予測するだけでなく、その予測の根拠を説明する手法を開発・評価すること。
• 実世界の動画データと人間によるアノテート済みの気質判断を用いて、モデルをベンチマーク化するため、説明可能な最初の印象分析のチャレンジを主催すること。
• 顔の表情、発話、姿勢などの視覚的およびマルチモーダルな手がかり（例：開放性、誠実性）が、動画における気質推論に最も寄与するものかどうかを調査すること。
• 求職者選考、医療、教育など、感受性の高い応用分野において、モデルの意思決定を解釈可能にすることで、アルゴリズム的説明責任を促進すること。

提案手法

• 著者らは、事前学習済みの深層学習モデルを用いて、動画、音声、テキスト特徴を統合するマルチモーダルな動画分析パイプラインを設計し、表面的気質を推定した。
• クラウドソーシングによる判断を用いて、5つの気質（例：開放性、誠実性）に注釈が付けられた、新たに収集されたvlogデータセットを用いて、ChaLearnプラットフォーム上でチャレンジを実施した。
• 評価プロトコルには、認識精度と説明品質の両方が含まれており、参加者には自然言語による説明と視覚的注目マップの提供が求められた。
• ブラックボックスの深層学習による特徴抽出と、透明性のある解釈可能なモデル（例：決定木、LIME）を統合するハイブリッドモデリングアプローチを提案した。
• 注目可視化、勾配マップ、自然言語の根拠を用いて、説明可能性を強化し、どの動画セグメントや特徴が予測に影響を与えたかを明らかにした。
• ドメインエキスパートやユーザーがモデルの推論を検査・検証できるように、人間を含むフィードバックループを支援するフレームワークを提供した。

実験結果

リサーチクエスチョン

• RQ1 最初の印象における表面的気質の推定において、動画内の視覚的およびマルチモーダルな手がかり（例：顔の表情、発話、姿勢）のうち、どれが最も予測的か？
• RQ2 気質認識のための深層学習モデルを、性能を損なわせることなく、どのようにして解釈可能かつ説明可能にすることができるか？
• RQ3 モデルの説明は、人間による注釈付き根拠とどの程度一致するか？
• RQ4 説明可能なモデルは、自動気質評価システムにおけるバイアスを低減し、信頼を高めることができるか？
• RQ5 伝統的な心理的尺度による気質評価と、動画ベースの最初の印象判断との主な違いは何か？

主な発見

• チャレンジの結果、深層特徴抽出と透明な意思決定モデルを組み合わせたモデルが、純粋にブラックボックスなモデルよりも高い精度と優れた説明品質を達成した。
• 人間評価者によって、顔の表情、発話パターン、ボディランゲージに基づく説明が、最も影響力があると一貫して評価された。
• 注目マップと勾配マップの可視化により、関連する動画セグメントが的確に特定された。特に、上位パフォーマンスを示したモデルは、人間による注釈と高い空間的・時間的整合性を示した。
• モデルが生成した自然言語の説明は、人間のジャッジによって妥当で一貫性があると評価された。特に視覚的・音声的特徴に基づいた説明は、信頼性が高かった。
• 3,000件を超えるvlogからなるデータセットは、強固な評価を可能にし、特に外向性と協調性の判断において体系的なバイアスが明らかになった。
• エンドツーエンド学習と事後解釈技術を統合したハイブリッドモデルは、アルゴリズム的説明責任が強く、高リスクな応用に適していることが示された。