[論文レビュー] Bidirectional Beam Search: Forward-Backward Inference in Neural Sequence Models for Fill-in-the-Blank Image Captioning

Qing Sun, Stefan Lee+1 more|arXiv (Cornell University)|May 24, 2017

Multimodal Machine Learning Applications参考文献 31被引用数 5

ひとこと要約

本稿では、双方向ニューラルシーケンスモデルにおける1-BestおよびM-Bestデコードのための、初めての効率的な近似推論アルゴリズムである双方向ビームサーチ（BiBS）を紹介する。この手法により、シーケンス生成中に過去と未来の文脈を統合的に考慮できる。新規の穴埋め形式の画像キャプションタスクおよびVisual Madlibsで評価した結果、単方向ビームサーチや先行手法を大きく上回り、文脈の両側を効果的に活用することで、より一貫性があり正確なシーケンス補完が実現された。BLEU-1およびBLEU-2指標において最先端の結果を達成した。

ABSTRACT

We develop the first approximate inference algorithm for 1-Best (and M-Best) decoding in bidirectional neural sequence models by extending Beam Search (BS) to reason about both forward and backward time dependencies. Beam Search (BS) is a widely used approximate inference algorithm for decoding sequences from unidirectional neural sequence models. Interestingly, approximate inference in bidirectional models remains an open problem, despite their significant advantage in modeling information from both the past and future. To enable the use of bidirectional models, we present Bidirectional Beam Search (BiBS), an efficient algorithm for approximate bidirectional inference.To evaluate our method and as an interesting problem in its own right, we introduce a novel Fill-in-the-Blank Image Captioning task which requires reasoning about both past and future sentence structure to reconstruct sensible image descriptions. We use this task as well as the Visual Madlibs dataset to demonstrate the effectiveness of our approach, consistently outperforming all baseline methods.

研究の動機と目的

• 双方向ニューラルシーケンスモデルにおける効率的な近似推論アルゴリズムの欠如に起因し、過去と未来の両方の文脈をモデル化可能だが、推論の難しさから十分に活用されていない現状を是正すること。
• ビームサーチを拡張し、前向きおよび後向きの依存関係を同時に考慮することで、双方向RNNにおける1-BestおよびM-Bestデコードを可能にする、新たな推論手法の開発。
• 欠落した部分の両側からの文脈統合能力をテストする、挑戦的な新規ベンチマーク「穴埋め形式の画像キャプション」の構築。
• 標準的なビームサーチが単方向の文脈制限により、文法的に誤りがあるか、一貫性のない補完を生じることを示すこと。
• BiBSを実世界のシーケンス補完タスクに適用し、リtrievalベースの手法も含む強力なベースラインを常に上回ることを実証すること。

提案手法

• BiBSは、各時刻で前向きおよび後向きの隠れ状態を維持することで、デコード中に過去と未来の両方の文脈に条件づけられるように拡張した従来のビームサーチである。
• アルゴリズムは、前向きおよび後向き確率を組み合わせることで出力シーケンスの同時分布を近似し、効率的なシーケンススコア計算を可能にする。
• 各ビームステップで、前向きおよび後向きRNN状態を用いて部分的なシーケンスを拡張し、統合スコアに基づいて上位B個のシーケンスを選択する。
• 複数の候補シーケンスをビームサーチプロセス中に維持することで、1-BestおよびM-Bestデコードの両方をサポートする。
• 前向きおよび後向き尤度を組み合わせる共同スコア関数を用いる：P(y_t | h^f_t, h^b_t) ≈ P(y_t | h^f_t) × P(y_t | h^b_t)，一貫性を調整する。
• 画像キャプションのためのCNN+LSTMフレームワークに統合され、視覚的および言語的入力を通してエンドツーエンドで学習および推論が行われる。

実験結果

リサーチクエスチョン

• RQ1 双方向RNN向けに、1-BestおよびM-Bestデコードをサポートする効率的な近似推論アルゴリズムを開発可能か？
• RQ2 前向きおよび後向き依存関係の共同モデリングは、穴埋めタスクにおけるシーケンス補完をどのように改善するか？
• RQ3 BiBSは、Visual Madlibsのようなシーケンス補完ベンチマークで、単方向ビームサーチおよびリtrievalベースのベースラインを上回るか？
• RQ4 欠落部分を含む状況下で、BiBSは標準的なビームサーチよりも文法的に正しいかつ文脈的に一貫性のある補完を生成できるか？
• RQ5 未知の穴埋め長さの影響は、他の手法と比較してBiBSの性能にどのような影響を及えるか？

主な発見

• 穴埋め長が既知のVisual Madlibsデータセットでは、BiBSはBLEU-2スコア0.216を達成し、すべての生成ベースのベースラインを上回り、nCCAオラクル手法をも凌駕した。
• 穴埋め長が未知の状況では、BiBSはBLEU-2スコア0.190を達成し、すべての生成ベースのベースラインを上回り、リtrieval手法に対しても競争力を持っていた。
• BiBSは、単方向ビームサーチの出力に一般的に見られる文法的誤りや不自然な遷移（例：'with a how to'）を顕著に低減した。
• タイプ7（オブジェクトの機能）およびタイプ12（ペア関係）のVisual Madlibsの質問タイプの両方で、最先端のパフォーマンスを達成した。
• 穴埋め長の変動にかかわらず、BiBSは一貫して単方向ビームサーチおよび他のベースラインを上回った。
• 結果から、適切な推論を伴う双方向モデリングが一貫性のあるシーケンス補完に不可欠であり、BiBSが実用的な実装を可能にすることが確認された。