[論文レビュー] Towards semantic and affective coupling in emotionally annotated databases

Marko Horvat, Siniša Popović+1 more|arXiv (Cornell University)|Dec 1, 2012

Advanced Text Analysis Techniques参考文献 22被引用数 6

ひとこと要約

本稿では、既存の感情付加付きデータベースにおける意味的コンテンツと感情的反応の正の相関を活用することで、効率的でインタラクティブな関連性フィードバックを可能にし、個別化されたデータベースの構築を実現する手法を提案する。情報精錬を用いて意味的メタデータから感情的アノテーションを自動的に推定することで、時間のかかる手作業によるタグ付けへの依存を低減し、品質を維持したままデータベース作成を著しく加速する。

ABSTRACT

Emotionally annotated databases are repositories of multimedia documents with annotated affective content that elicit emotional responses in exposed human subjects. They are primarily used in research of human emotions, attention and development of stress-related mental disorders. This can be successfully exploited in larger processes like selection, evaluation and training of personnel for occupations involving high stress levels. Emotionally annotated databases are also used in multimodal affective user interfaces to facilitate richer and more intuitive human-computer interaction. Multimedia documents in emotionally annotated databases must have maximum personal ego relevance to be the most effective in all these applications. For this reason flexible construction of subject-specific of emotionally annotated databases is imperative. But current construction process is lengthy and labor intensive because it inherently includes an elaborate tagging experiment involving a team of human experts. This is unacceptable since the creation of new databases or modification of the existing ones becomes slow and difficult. We identify a positive correlation between the affect and semantics in the existing emotionally annotated databases and propose to exploit this feature with an interactive relevance feedback for a more efficient construction of emotionally annotated databases. Automatic estimation of affective annotations from existing semantics enhanced with information refinement processes may lead to an efficient construction of high-quality emotionally annotated databases.

研究の動機と目的

• 現在の感情付加付きデータベース構築における非効率性、すなわち長時間にわたる専門家主導のタグ付け実験に起因する問題を解決すること。
• 既存のデータベースにおける意味的コンテンツと感情的反応の間の正の相関を特定し、それを活用すること。
• 柔軟で被験者固有のデータベース構築を可能にするインタラクティブな関連性フィードバックシステムを開発すること。
• 感情付加付きデータベースの作成または変更に要する労力と時間の削減を図ること。

提案手法

• マルチメディアコンテンツと感情的反応を関連付ける既存の感情付加付きデータベースを活用すること。
• 意味的特徴と感情的アノテーションの間の正の相関を特定・モデル化すること。
• ユーザーが個人的な感情的関連性に基づいてデータベース内容を精緻化するインタラクティブな関連性フィードバックメカニズムを実装すること。
• 情報精錬プロセスを適用し、意味的メタデータの品質を向上させ、感情的アノテーションの自動予測を可能にすること。
• 精錬された意味的データを用いて感情的ラベルを推定し、手作業によるタグ付けの必要を最小限に抑えること。
• 動的でユーザー適応型のデータベース構築を可能にするフレームワークに統合すること。

実験結果

リサーチクエスチョン

• RQ1 感情付加付きデータベースにおける意味的コンテンツは、自動アノテーションを支援するような形で、感情的反応を信頼性高く予測できるか？
• RQ2 インタラクティブな関連性フィードバックは、被験者固有の感情付加付きデータベース構築の効率性をどのように向上させるか？
• RQ3 意味的メタデータの情報精錬は、感情的タグ付けに必要な手作業の量をどの程度削減できるか？
• RQ4 意味的・感情的相関は、構築されたデータベースの品質および個人的関連性にどのような影響を及えるか？

主な発見

• 既存の感情付加付きデータベースにおいて、意味的コンテンツと感情的アノテーションの間には正の相関が存在する。
• 同定された意味的・感情的相関により、意味的メタデータからの感情的ラベルの信頼性ある推定が可能である。
• インタラクティブな関連性フィードバックは、データベース構築に要する時間と労力の著しい削減を実現する。
• 意味的データの情報精錬は、自動感情アノテーション予測の精度を向上させる。
• 提案手法により、効率的で柔軟かつパーソナライズされた感情付加付きデータベースの構築が可能となる。
• 本手法により、大規模な人材チームに依存する必要が低減され、データベース作成がスケーラブルかつ実用的になる。