[論文レビュー] A Domain Based Approach to Social Relation Recognition

Qianru Sun, Bernt Schiele+1 more|arXiv (Cornell University)|Apr 21, 2017

Multimodal Machine Learning Applications参考文献 33被引用数 9

ひとこと要約

本論文は、社会心理学の5つのドメイン—アタッチメント、相互性、交配、階層的パワー、連合的グループ—から導出された階層的ラベル空間を用いて、ドメインベースのアプローチを提案する。26,915組の人物ペアに関する新しいデータセットを構築し、意味的属性に基づくモデルが他の手法を上回ることを示した。心理的理論と整合するため、優れた性能と解釈可能性を達成した。

ABSTRACT

Social relations are the foundation of human daily life. Developing techniques to analyze such relations from visual data bears great potential to build machines that better understand us and are capable of interacting with us at a social level. Previous investigations have remained partial due to the overwhelming diversity and complexity of the topic and consequently have only focused on a handful of social relations. In this paper, we argue that the domain-based theory from social psychology is a great starting point to systematically approach this problem. The theory provides coverage of all aspects of social relations and equally is concrete and predictive about the visual attributes and behaviors defining the relations included in each domain. We provide the first dataset built on this holistic conceptualization of social life that is composed of a hierarchical label space of social domains and social relations. We also contribute the first models to recognize such domains and relations and find superior performance for attribute based features. Beyond the encouraging performance of the attribute based approach, we also find interpretable features that are in accordance with the predictions from social psychology literature. Beyond our findings, we believe that our contributions more tightly interleave visual recognition and social psychology theory that has the potential to complement the theoretical work in the area with empirical and data-driven models of social life.

研究の動機と目的

• 視覚的データにおける人間の社会的生のあらゆる側面をカバーする包括的な計算フレームワークを構築すること。
• 先行研究が少数の任意の社会的関係クラスに限定されているという限界を克服し、包括的な心理的理論に基づいて認識を根拠づけること。
• 一般化性と評価の向上を目的として、社会的ドメインおよび関係レベルの両方のラベルを備えた大規模かつ階層的なデータセットを構築すること。
• 視覚的画像から社会的ドメインおよび関係を認識する際に、社会心理学から導出された意味的属性の有効性を評価すること。
• 理論的社會心理学とデータ駆動型視覚認識のギャップを埋めるために、解釈可能で理論と整合するモデルを構築すること。

提案手法

• 社会心理学におけるブルガントのドメインベース理論を概念的枠組みとして採用し、社会的関係を5つのドメインに分類する：アタッチメント、相互性、交配、階層的パワー、連合的グループ。
• PIPAデータセットに26,915件のラベルを追加することで、人物ペアにドメインレベルおよび関係レベルの両方のラベルを割り当て、階層的ラベル空間を構築する。
• 年齢、性別、服装、行動、身体／頭部の外見といった属性を用いて意味的属性ベースのモデルを設計・訓練し、心理学的予測に基づく。
• 性能と解釈可能性を評価するために、属性ベースのモデルと完全にデータ駆動型のモデル（エンドツーエンド）を比較して訓練する。
• 外部データセットから事前学習済みの属性モデル（例：服装や行動）を転移学習により活用し、特徴の学習と一般化を向上させる。
• アブレーションスタディおよび正規化寄与度分析を実施し、各属性がドメインおよび関係の分類において果たす相対的な重要性を評価する。

実験結果

リサーチクエスチョン

• RQ1 社会心理学からのドメインベース理論が、視覚的データにおける社会的関係を包括的かつ予測可能なフレームワークとして機能できるか？
• RQ2 意味的属性ベースのモデルは、エンドツーエンドの深層学習モデルと比較して、社会的ドメインおよび関係の認識においてどの程度優れているか？
• RQ3 学習された視覚的属性は、社会心理学の文献からの予測とどの程度整合するか？
• RQ4 どの視覚的属性が社会的ドメインおよび関係の分類において最も予測的であり、その寄与度はタスクごとにどのように変化するか？
• RQ5 ドメインレベルの表現を学習することで、モデルは異なる社会的関係に一般化できるか？

主な発見

• 意味的属性ベースのモデルは、社会的ドメインおよび関係の両方の認識において、完全にデータ駆動型のモデルを上回った。理論に基づく特徴がより効果的であることを示唆している。
• ドメインおよび関係認識において最も寄与度の高い属性は、行動と服装であり、ドメインベース理論が社会的グループにおける共有行動や外見の重要性を強調していることに整合している。
• 年齢と性別の特徴、特に頭部の年齢と身体の性別は、特に交配およびアタッチメントのドメインにおいて顕著な予測要因であった。これは社会心理学の予測を裏付けた。
• 画像品質が低いか、背景が遮蔽されているような困難なケースでもモデルの性能は安定しており、曇りや部分的可視のペアにおいても正しく予測された。
• ネガティブ例では、通常でない行動や曖昧な手がかり（例：祖母が赤ちゃんを抱っこするために這いずる）が多かったが、個々の属性信号が強くてもモデルは混乱した。
• 視覚的手がかりが不明瞭な場合、例えば報道記者会見の低解像度画像ではモデルの性能が低下した。これは、制約のある視覚的条件下での外見モデリングの向上が求められることを示唆している。