[論文レビュー] Visual Dialogue without Vision or Dialogue

Daniela Massiceti, Puneet K. Dokania+2 more|arXiv (Cornell University)|Dec 16, 2018

Multimodal Machine Learning Applications参考文献 18被引用数 22

ひとこと要約

本論文は、視覚的対話において、視覚入力や対話履歴を一切使用せずに、平均順位（MR）で準SOTA性能を達成するシンプルな正準相関分析（CCA）ベースの手法を提案する。オフザシェル特徴量を用い、計算リソースも最小限に抑えているにもかかわらず、複雑なディープラーニングアーキテクチャを上回る性能を示し、現在の評価指標やデータセット設計における潜在的なバイアスを露呈する。

ABSTRACT

We characterise some of the quirks and shortcomings in the exploration of Visual Dialogue - a sequential question-answering task where the questions and corresponding answers are related through given visual stimuli. To do so, we develop an embarrassingly simple method based on Canonical Correlation Analysis (CCA) that, on the standard dataset, achieves near state-of-the-art performance on mean rank (MR). In direct contrast to current complex and over-parametrised architectures that are both compute and time intensive, our method ignores the visual stimuli, ignores the sequencing of dialogue, does not need gradients, uses off-the-shelf feature extractors, has at least an order of magnitude fewer parameters, and learns in practically no time. We argue that these results are indicative of issues in current approaches to Visual Dialogue and conduct analyses to highlight implicit dataset biases and effects of over-constrained evaluation metrics. Our code is publicly available.

研究の動機と目的

• 視覚的対話における高い性能を発揮するためには、複雑なニューラルアーキテクチャが不可欠であるという仮定に挑戦すること。
• 平均順位（MR）やNDCGといった現在の評価指標が、視覚的対話におけるモデルの実際の能力を真に反映しているかどうかを調査すること。
• VisDialデータセットに内在する暗黙のバイアスと、標準的な評価プロトコルの過度に制限された性質を暴露すること。
• MR評価において、単純で軽量なモデルが競争力ある性能を発揮できることを示し、特定の指標に過剰適合している可能性を示唆すること。
• 視覚的対話研究における、より強固でバイアスの少ない評価フレームワークの導入を提唱すること。

提案手法

• 本手法は、質問、回答、および任意の画像間の共同埋め込みを学習するために、マルチビュー正準相関分析（CCA）を用いる。
• 質問と回答は事前学習済みGloVeおよびFastText埋め込みを、画像は事前学習済みResNet-34を用いて共有潜在空間に投影する。
• 勾配計算や微調整を一切行わず、埋め込み済みの質問-回答ペア間のコサイン類似度を計算することで、候補回答の順位付けを行う。
• アプローチは視覚入力と対話履歴を完全に無視し、オフザシェル特徴量と数百万のパラメータに依存する。
• 相関行列の固有値分解を用いて射影行列を計算し、固有値の重み付けを施して性能を向上させる。
• Otsuのしきい値を用いた二値クラスタリングヒューリスティックを適用し、回答の類似性を分析。妥当な回答の同値類を同定する。

実験結果

リサーチクエスチョン

• RQ1 視覚情報や対話履歴を一切使用しない、シンプルでニューラルネットワークでも微分可能でもない手法が、視覚的対話ベンチマークで競争力ある性能を達成できるか？
• RQ2 平均順位（MR）やNDCGといった現在の評価指標が、視覚的対話におけるモデルの実際の能力をどの程度正確に反映しているか？
• RQ3 VisDialデータセットに、質問の対象となる画像や対話履歴を無視しても高い性能を発揮できるような暗黙のバイアスが存在するか？
• RQ4 性能指標（MR、R@1、NDCG）と、視覚的対話における回答選択の実際の質との間にはどのような相関関係があるか？
• RQ5 複数の回答が同等に妥当であるような同値類が形成される場合があり、これは正解順位の信頼性を損なうのか？

主な発見

• CCAベースのモデルは、質問と回答の特徴量のみを用いても平均順位（MR）16.60を達成し、視覚情報や履歴を活用する複雑なSOTAモデルを上回る性能を示した。
• VGG-16とGloVe埋め込みを用いた場合、MRは15.86にまで低下し、特徴抽出器の違いに対しても頑健であることが示された。
• NDCGやMRRスコアは低めであったが、トップ順位の回答は正解と強く相関しており、正解の回答がしばしば妥当な回答のクラスタ内での任意の選択である可能性を示唆した。
• トップ順位の回答は、正解との相関が一貫して高く、回答が同値類を形成していることが示された。これは、順位ベースの評価指標の妥当性を損なう要因である。
• アブレーションスタディの結果、画像や履歴入力を削除したSOTAモデルのアブレーションバージョンよりも、CCAモデルが優れているか同等の性能を示し、モデルの頑健性を裏付けた。
• 最近傍探索ベースラインはトレーニングデータをテスト時に保持する必要があり、MR性能では劣るが、CCAモデルは計算およびメモリの両面で高速で、より効率的である。