[論文レビュー] A Simple Loss Function for Improving the Convergence and Accuracy of Visual Question Answering Models

Ilija Ilievski, Jiashi Feng|arXiv (Cornell University)|Aug 2, 2017

Multimodal Machine Learning Applications参考文献 18被引用数 8

ひとこと要約

本論文は、各質問に対するすべての正解ラベルを考慮する新しいソフトクロスエントロピー損失関数を提案する。この手法により、訓練損失と評価精度の乖離が軽減され、各妥当な回答の頻度に応じて重み付けすることで、訓練収束の改善とVQAモデルの精度向上（VQA v2.0ベンチマークで最大1.6%向上）が達成される。

ABSTRACT

Visual question answering as recently proposed multimodal learning task has enjoyed wide attention from the deep learning community. Lately, the focus was on developing new representation fusion methods and attention mechanisms to achieve superior performance. On the other hand, very little focus has been put on the models' loss function, arguably one of the most important aspects of training deep learning models. The prevailing practice is to use cross entropy loss function that penalizes the probability given to all the answers in the vocabulary except the single most common answer for the particular question. However, the VQA evaluation function compares the predicted answer with all the ground-truth answers for the given question and if there is a matching, a partial point is given. This causes a discrepancy between the model's cross entropy loss and the model's accuracy as calculated by the VQA evaluation function. In this work, we propose a novel loss, termed as soft cross entropy, that considers all ground-truth answers and thus reduces the loss-accuracy discrepancy. The proposed loss leads to an improved training convergence of VQA models and an increase in accuracy as much as 1.6%.

研究の動機と目的

• 標準的なクロスエントロピー損失と実際のVQA評価指標の不一致を是正すること。この評価指標は複数の正解を考慮する。
• 最適化中に真の評価基準をよりよく反映することで、VQAモデルの訓練安定性と収束速度を向上させること。
• 損失関数をVQA評価プロトコルにさらに近づけることで、テスト精度を向上させること。評価プロトコルでは、少なくとも3人の人間アノテーターと一致する回答に対して部分的採点が与えられる。
• アーキテクチャの変更なしに、さまざまなVQAアーキテクチャで性能を向上させるシンプルで即挿入可能な損失関数を提供すること。

提案手法

• 提案されたソフトクロスエントロピー損失は、各質問について、すべての固有の正解ラベルに対する個別のクロスエントロピー損失の重み付き平均を計算する。
• 正解ラベル集合内の各回答には、その頻度を全回答数（通常は10）で割った値に等しい重みが割り当てられ、それが正解である可能性を反映する。
• 損失関数は、固有の回答ごとの和として定義され、各項はその回答の標準クロスエントロピー損失に頻度重みを乗じたものである。
• この手法は標準クロスエントロピーの定式化を保ちつつ、最も頻度の高い回答だけを考慮するのではなく、複数の正解を同時に考慮するように拡張する。
• このアプローチは、任意のVQAモデルアーキテクチャと互換性があり、既存の訓練パイプラインへの統合も容易である。

実験結果

リサーチクエスチョン

• RQ1 標準クロスエントロピー損失とVQA評価指標の乖離が、モデルの収束性と精度に与える影響は何か？
• RQ2 損失関数内で複数の正解ラベルをモデル化することで、訓練ダイナミクスと最終的な性能が向上するか？
• RQ3 すべての妥当な回答に対するクロスエントロピー損失の重み付き平均は、訓練損失とテスト精度の乖離を小さくするか？
• RQ4 提案された損失関数は、さまざまなVQAモデルアーキテクチャにおいて、どの程度性能を向上させるか？

主な発見

• ソフトクロスエントロピー損失は、標準クロスエントロピーと比較して、AVG VQAモデルでは平均検証精度が1.2%向上し、POOL VQAモデルでは1.6%向上した。
• この向上効果は、Yes/No、Number、Other、および全体の平均の全回答タイプにわたり一貫している。
• この手法は訓練プロセスを安定化させ、標準クロスエントロピーを使用した場合に観察された「検証損失と精度が同時に上昇する」異常なトレンドを解消した。
• 図1および図2の訓練および検証曲線から示されるように、損失と精度のトレンドがより自然に一致するため、収束が速くなった。