[論文レビュー] UNITER-Based Situated Coreference Resolution with Rich Multimodal Input

Yichen Huang, Yuchen Wang+1 more|arXiv (Cornell University)|Dec 7, 2021

Speech and dialogue systems被引用数 4

ひとこと要約

本論文では、対話履歴、視覚的特徴、知識ベースエントリ、オブジェクト座標、シーングラフを含む豊富な入力を活用して、SIMMC 2.0データセットにおけるマルチモーダルコアリファレンス解決のためのUNITERベースのモデルを提案する。このアプローチは、テスト-stdセットで73.3%のオブジェクトF1スコアを達成し、DSTC10チャレンジで2位を記録した。ベースラインから40.7ポイントの向上を達成した。

ABSTRACT

We present our work on the multimodal coreference resolution task of the Situated and Interactive Multimodal Conversation 2.0 (SIMMC 2.0) dataset as a part of the tenth Dialog System Technology Challenge (DSTC10). We propose a UNITER-based model utilizing rich multimodal context such as textual dialog history, object knowledge base and visual dialog scenes to determine whether each object in the current scene is mentioned in the current dialog turn. Results show that the proposed approach outperforms the official DSTC10 baseline substantially, with the object F1 score boosted from 36.6% to 77.3% on the development set, demonstrating the effectiveness of the proposed object representations from rich multimodal input. Our model ranks second in the official evaluation on the object coreference resolution task with an F1 score of 73.3% after model ensembling.

研究の動機と目的

• 視覚、言語、知識の間で参照を解決しなければならないマルチモーダルで状況に依存する対話システムにおけるコアリファレンス解決の課題に対処すること。
• DSTC10マルチモーダルコアリファレンス解決タスクにおいて、GPT-2ベースラインを上回るために、構造化されたマルチモーダル入力を活用すること。
• オブジェクト座標、KB埋め込み、シーングラフなどの多様なマルチモーダル特徴がコアリファレンス解決性能に与える効果を調査すること。
• 各オブジェクトを照会の候補とみなすエンドツーエンドの堅牢なフレームワークを構築すること。各オブジェクトに対してバイナリ分類ヘッドを用いる。

提案手法

• モデルは、対話履歴、事前学習済みCNNからの視覚的特徴、知識ベースエントリからのオブジェクト固有の埋め込みを含むマルチモーダル入力を統合的にエンコードするためにUNITERを用いる。
• 各オブジェクトは、オブジェクトインデックス、Faster R-CNNまたはCLIPからの画像特徴、BERT/SBERTによるKB記述、オブジェクト位置や以前に言及されたかどうかの有無といった補助特徴を組み合わせた複合埋め込みで表現される。
• シーングラフの関係は、アテンションバイアスとして統合されるか、関係に特化した自己アテンション層を介して、オブジェクト間の空間的および関係的文脈をモデル化する。
• モデルは、各オブジェクト候補に対してバイナリ分類を実行し、それが現在の対話ターンで参照されているかどうかを予測する。
• 5つの最良のUNITERベース構成のアンサンブルを用いて、汎化性能を向上させ、テストセットにおける最終的な性能を強化した。

実験結果

リサーチクエスチョン

• RQ1 複雑で現実世界的な対話シナリオにおける豊富なマルチモーダル入力の下で、UNITERベースのアーキテクチャがコアリファレンス解決にどの程度有効であるか？
• RQ2 オブジェクト座標、KBエントリ、シーングラフといった豊富なマルチモーダル入力は、コアリファレンス解決性能をどの程度向上させるか？
• RQ3 シーングラフからの構造的関係情報は、オブジェクト間の空間的および文脈的関係の理解をモデルが向上させるか？
• RQ4 F1スコアと頑健性の観点から、本手法はGPT-2のような系列ベースのベースラインと比べてどの程度優れているか？

主な発見

• 提案されたUNITERベースのモデルは、保留されたテスト-stdセットで73.3%のオブジェクトF1スコアを達成し、DSTC10チャレンジで2位を記録した。
• 開発セットでは、ベースラインのGPT-2 F1スコアが36.6%から77.3%に向上し、顕著な性能向上が確認された。
• 「以前に言及された」インジケータ特徴を単独で組み込むことで、F1スコアが0.674から0.728に上昇した。これは強い以前に言及された依存性があることを示している。
• オブジェクト座標とBERT/SBERTによるKB埋め込みを追加することでさらに性能が向上し、最良の単一モデルはdev-testで0.674のF1スコアを達成した。
• シーングラフの統合はわずかな向上しかもたらさなかったが、提供されたグラフに限られた関係情報しか含まれていない可能性がある。
• 誤差解析から、壁に描かれたオブジェクトやごみだらけのシーンにおけるオブジェクト検出に課題があることが明らかになった。特に、小さなオブジェクトや隠れていたりするオブジェクトの検出が困難であった。