[論文レビュー] Beam Search with Bidirectional Strategies for Neural Response Generation

Pierre Colombo, Chouchang Yang+2 more|arXiv (Cornell University)|Oct 7, 2021

Topic Modeling参考文献 30被引用数 11

ひとこと要約

本稿では、左から右へおよび右から左へのシーケンスモデリングを統合的に活用することで、ニューラル応答生成の性能を向上させる二方向ビームサーチ戦略であるBidiSおよびBidiAを提案する。逆順デコードと類似度ベースの再ランク付けを組み合わせることで、標準的なビームサーチと比較してBLEU-4スコアと応答の多様性が向上し、計算コストも低減される。

ABSTRACT

Sequence-to-sequence neural networks have been widely used in language-based applications as they have flexible capabilities to learn various language models. However, when seeking for the optimal language response through trained neural networks, current existing approaches such as beam-search decoder strategies are still not able reaching to promising performances. Instead of developing various decoder strategies based on a "regular sentence order" neural network (a trained model by outputting sentences from left-to-right order), we leveraged "reverse" order as additional language model (a trained model by outputting sentences from right-to-left order) which can provide different perspectives for the path finding problems. In this paper, we propose bidirectional strategies in searching paths by combining two networks (left-to-right and right-to-left language models) making a bidirectional beam search possible. Besides, our solution allows us using any similarity measure in our sentence selection criterion. Our approaches demonstrate better performance compared to the unidirectional beam search strategy.

研究の動機と目的

• 標準的なビームサーチの限界、すなわち尤度のみに依存するスコア付けと、シーケンスの端における入力依存性の弱さを是正すること。
• 右から左への依存関係を捉える逆順言語モデルを導入することで、応答の質と多様性を向上させること。
• 柔軟な類似度メトリクスを用いて前方および後方ビーム出力を統合する、新たな再ランク付け戦略を開発すること。
• 性能を維持または向上させつつ、既存の再ランク付け手法と比較して計算オーバーヘッドを低減すること。

提案手法

• 標準的な左から右への生成用と、逆順の右から左への生成用の2つの別個のseq2seqモデルを学習する。
• 逆順モデルを用いて仮説を再スコア付けし、尤度が低い終端をペナルティ化することで、シーケンスの端における入力の関連性を向上させる。
• BidiSを実装し、前方および逆方向の尤度スコアを学習可能な重みλを用いて組み合わせる。
• BidiAを導入し、前方および逆方向ビーム出力間の類似度（例：BLEUやWMD）を最大化することで最良の仮説を選択する。
• 長さ正規化とビームプルーニングを適用し、効率を維持する。複雑度解析により、BidiAはVBSよりも効率的であることが示された。
• パラメータ削減と学習安定性の向上を図るため、エンコーダーを共有して学習するが、性能は維持される。

実験結果

リサーチクエスチョン

• RQ1 逆順シーケンスモデリングは、ニューラル応答生成における生成応答の質を向上させ得るか？
• RQ2 類似度ベースの再ランク付けにより前方および後方ビーム出力を統合することで、単方向ビームサーチよりも高いBLEU-4スコアが得られるか？
• RQ3 二方向ビームサーチ戦略は、応答の多様性を向上させつつ、計算コストを低減できるか？
• RQ4 類似度メトリクスの選択（例：BLEU対WMD）が、再ランク付け戦略の性能に与える影響は何か？
• RQ5 二方向ビームサーチは、生成シーケンスの終盤における入力の影響が低下する問題を緩和できるか？

主な発見

• BidiAは、CornellデータセットにおいてベースラインのVBS比でBLEU-4スコアを最大8%向上させ、Switchboardでも一貫した向上を示した。
• BidiAはビームサイズにかかわらず性能を維持し、B=20およびB=40でVBSが観察する性能低下を回避しており、より高いロバスト性を示している。
• BidiAはより高い多様性を示し、特にn=2の際、BidiAのdistinct-nスコアはVBSよりも最大8%高い。
• BidiAの複雑度はVBSより低く、計算コストは2T×O((B/2)V×log(BV/2))と評価され、より効率的である。
• BidiSは逆順モデルによる再スコア付けを活用し、検証データ上でλを最適化することで、一般化性能が向上し、VBSを上回る。
• BidiAが選択した応答のインデックス分布は、最高のBLEU-4スコアを達成した仮説とより一致しており、評価指標に適した選択であることが示された。