[論文レビュー] Understanding Embodied Reference with Touch-Line Transformer

Yang Li, Xiaoxue Chen+5 more|arXiv (Cornell University)|Oct 11, 2022

Hand Gesture Recognition Systems被引用数 6

ひとこと要約

本論文では、目から指先への仮想的接触線（VTL）を、従来の肘〜手首線の代わりに用いることで、身体的参照理解の性能を向上させる、Touch-Line Transformerと呼ばれるビジョン・ランゲージモデルを提案する。物体のバウンディングボックスとVTLベクトルを同時に予測し、一貫性損失によって幾何的同一直線性を強制することで、YouRefItデータセットにおいて0.75 IoU基準で25.0%の精度向上を達成し、モデルと人間の性能差の63.6%を埋めることに成功した。

ABSTRACT

We study embodied reference understanding, the task of locating referents using embodied gestural signals and language references. Human studies have revealed that objects referred to or pointed to do not lie on the elbow-wrist line, a common misconception; instead, they lie on the so-called virtual touch line. However, existing human pose representations fail to incorporate the virtual touch line. To tackle this problem, we devise the touch-line transformer: It takes as input tokenized visual and textual features and simultaneously predicts the referent's bounding box and a touch-line vector. Leveraging this touch-line prior, we further devise a geometric consistency loss that encourages the co-linearity between referents and touch lines. Using the touch-line as gestural information improves model performances significantly. Experiments on the YouRefIt dataset show our method achieves a +25.0% accuracy improvement under the 0.75 IoU criterion, closing 63.6% of the gap between model and human performances. Furthermore, we computationally verify prior human studies by showing that computational models more accurately locate referents when using the virtual touch line than when using the elbow-wrist line.

研究の動機と目的

• 従来の肘〜手首線に依存する身体的参照理解モデルの限界、すなわち不正確なジェスチャー表現の問題を解決すること。
• 非言語的ジェスチャー信号と言語的参照を統合的にモデル化することで、参照対象の局所化を改善すること。
• 仮想的接触線（VTL）が人間の指差しジェスチャーにおいて、肘〜手首線（EWL）よりもより正確なジェスチャーの手がかりであるという仮説を検証すること。
• 複数の参照対象が存在する複雑で曖昧な視覚的状況において、人工エージェントと人間の性能差を縮小すること。

提案手法

• COCOスタイルのキーポイントグラフに、目と指先を結ぶ仮想的接触線（VTL）を追加することで、新しい人間のポーズ表現を導入する。
• 視覚的および言語的入力を統合的に処理し、参照対象のバウンディングボックスとVTLベクトルを同時に予測する、マルチモーダルトランスフォーマー「Touch-Line Transformer」を提案する。
• 予測された参照対象の中心とVTLベクトルの間の同一直線性を促進する幾何的一貫性損失を設計し、空間的整合性を向上させる。
• テストケースにおける頭部の隠蔽に対応するため、画像の穴埋め技術を用い、頭部が見えなくてもVTL推定が可能になるようにする。
• 真値と予測された物体中心を用いて、VTLと参照方向のコサイン類似度を計算し、VTLの正確性を検証する。
• 複数のIoU閾値で性能を評価し、堅牢性を高めるためにGIoUを用い、ポーズ、EWL、VTL、参照整合性損失の有無を比較したアブレーション変種を評価する。

実験結果

リサーチクエスチョン

• RQ1 仮想的接触線（VTL）は、従来の肘〜手首線（EWL）よりも、参照対象の局所化においてより正確な空間的ヒントを提供するか？
• RQ2 ビジョン・ランゲージモデルは、ジェスチャー信号（VTL）と言語的参照を同時に活用することで、身体的参照理解を向上させることができるか？
• RQ3 VTLと予測された参照対象の間の幾何的同一直線性を強制することで、局所化誤差はどの程度低減されるか？
• RQ4 本手法は、異なるオブジェクトサイズとIoU閾値において、最先端のモデルと比較してどの程度の性能を示すか？

主な発見

• Touch-Line Transformerは、YouRefItデータセットにおいて0.75 IoU基準で、最先端手法比で+25.0%の精度向上を達成した。
• モデルと人間の性能差の63.6%を埋め、人間とモデルの性能差を顕著に縮小した。
• EWLからVTLに切り替えることで、ジェスチャー線と参照方向のコサイン類似度が0.9580から0.9901に上昇し、VTLが参照対象とより良好に一致していることが確認された。
• 参照整合性損失の導入により、IoU閾値0.25、0.50、0.75でそれぞれ4.0、4.5、2.6ポイントの性能向上が見られ、その有効性が裏付けられた。
• VTLを用いる場合、小形オブジェクトの性能が顕著に向上し（IoU=0.75で13.4%）、微小な参照対象の検出性能が向上した。
• GIoU評価では、VTLベースのモデルがIoU=0.75で38.2%の精度を達成し、すべてのアブレーションバージョンを上回り、堅牢性が確認された。