[論文レビュー] The Ambiguous World of Emotion Representation

Vidhyasaharan Sethu, Emily Mower Provost+4 more|arXiv (Cornell University)|Sep 1, 2019

Emotion and Mood Recognition参考文献 75被引用数 31

ひとこと要約

本稿では、感情表現と認識における本質的曖昧性を明示的にモデル化する統一的数学的形式である AMBiguous Emotion Representation (AMBER) フレームワークを提案する。AMBER は、カテゴリカル、数値的、順序的表現を含む感情表現を統合的に扱い、感情表現の体系的推論を可能にするとともに、既存手法における暗黙の仮定を明確にし、異なる表現タイプ間の比較・変換を支援する。特に、次元的表現とカテゴリカル表現の間のクラスタリングベースや確率的マッピングも含む。

ABSTRACT

Artificial intelligence and machine learning systems have demonstrated huge improvements and human-level parity in a range of activities, including speech recognition, face recognition and speaker verification. However, these diverse tasks share a key commonality that is not true in affective computing: the ground truth information that is inferred can be unambiguously represented. This observation provides some hints as to why affective computing, despite having attracted the attention of researchers for years, may not still be considered a mature field of research. A key reason for this is the lack of a common mathematical framework to describe all the relevant elements of emotion representations. This paper proposes the AMBiguous Emotion Representation (AMBER) framework to address this deficiency. AMBER is a unified framework that explicitly describes categorical, numerical and ordinal representations of emotions, including time varying representations. In addition to explaining the core elements of AMBER, the paper also discusses how some of the commonly employed emotion representation schemes can be viewed through the AMBER framework, and concludes with a discussion of how the proposed framework can be used to reason about current and future affective computing systems.

研究の動機と目的

• 感情認識計算における感情表現を記述する共通の数学的フレームワークの欠如に対処すること。
• 従来の単一値の点推定では捉えきれない、感情表現および認識における本質的曖昧性を形式化すること。
• カテゴリカル、次元的、順序的アプローチを含む、既存の感情表現スキームについて体系的に推論・比較できる構造的手段を提供すること。
• 複数のアノテーションの平均化や、ラベル変換にためのクラスタリングといった、現在の手法における暗黙の仮定を明確化すること。
• 人間とのインタラクションにおける感情的曖昧性を推論できる将来の AI システムの設計を支援すること。

提案手法

• AMBER は、表現タイプ（カテゴリカル、数値的、順序的）、ドメイン、曖昧性関数を含む構造的数学的対象として感情表現を定義する。
• 確率分布や信頼性測度を用いて曖昧性を明示的にモデル化し、複数の妥当な感情状態を許容する。
• 時間変動する表現を扱うために、コア構造を時間関数や系列へと拡張する。
• ドメイン構造や順序の共有成分を分析することで、表現スキーム間の形式的比較を可能にする。
• 例えば、3次元のアーザル・バレンス・ドミナントスペースからカテゴリカルラベルへの変換といった、スキーム間のマッピングを表現する形式的言語を提供する。
• ソフトラベル、感情プロファイル、ブレンドド・エモーションといった既知のスキームを、統一的構造内に統合し、それらの相互適合性と限界を示す。

実験結果

リサーチクエスチョン

• RQ1 表現と認識における曖昧性を考慮した感情表現を形式的に表現する方法は何か？
• RQ2 複数のアノテーションの平均化や、次元的ラベルへの k-means クラスタリングといった、現在の感情表現スキームにおける暗黙の仮定は何か？
• RQ3 共通の数学的フレームワークを用いて、カテゴリカル、数値的、順序的表現を体系的に比較可能か？
• RQ4 数値的ラベルをカテゴリカルなものに変換するためにクラスタリングアルゴリズムを用いることは正当化可能か？その背後にある仮定は何か？
• RQ5 アーザル・バレンス・ドミナントスペースのような次元的空間において、カテゴリカルラベルとクラスタの関係を、不適切な度合いの仮定を伴わずにモデル化できるか？

主な発見

• AMBER フレームワークは、感情認識計算におけるすべての既存の感情表現スキーム（カテゴリカル、数値的、順序的）を形式的に記述可能である。
• アノテーションの平均化や、次元的ラベルへの k-means クラスタリングといった従来のアプローチは、ユークリッド距離や直交性といった、必ずしも正当化されない仮定に依存している。
• 3次元の数値的空間からカテゴリカルラベルへのマッピングといった、表現タイプ間の変換には、下位構造の明示的モデル化が必要であり、距離保存性や線形性を暗黙に仮定することはできない。
• ソフトラベルや信頼性測度を曖昧性表現の形式的手段として用いることは、単一の値の真値ラベルよりも形式的に支持され、現実的である。
• フレームワークは、アノテーションの平均値を取る、または数値的ラベルをクラスタリングするといった基本的処理が、度合い構造や順序に関する仮定を含んでいることを明らかにし、それらを明示的に提示する必要があることを示している。
• AMBER は、感情表現に関する仮定を明確にすることで、より頑健な感情認識システムの設計を可能にし、変換や比較に関する形式的推論を可能にする。