[論文レビュー] A Better Variant of Self-Critical Sequence Training

Ruotian Luo|arXiv (Cornell University)|Mar 22, 2020

Advanced Image and Video Retrieval Techniques参考文献 27被引用数 28

ひとこと要約

この論文は、自己自己的逐次訓練（SCST）の変種を提案し、K個の独立したキャプションから得られるサンプル平均ベースラインにグリーディデコードベースラインを置き換えることで、勾配の分散低減を改善する。この手法は、画像キャプションベンチマークにおいて複数のアーキテクチャで一貫した性能向上を達成しており、計算コストを標準SCSTと同等に保ったまま、トランスフォーマー・モデルではCIDErスコアが2.0ポイント向上した。

ABSTRACT

In this work, we present a simple yet better variant of Self-Critical Sequence Training. We make a simple change in the choice of baseline function in REINFORCE algorithm. The new baseline can bring better performance with no extra cost, compared to the greedy decoding baseline.

研究の動機と目的

• シーケンス生成タスクにおける自己自己的逐次訓練（SCST）の勾配分散低減を改善すること。
• SCSTにおけるグリーディデコードベースラインを、複数のサンプルキャプションから得られるより安定的で分散の小さいベースラインに置き換えること。
• このベースラインの変更が、訓練コストを増加させることなく一貫した性能向上をもたらすことを実証すること。
• 異なるモデルアーキテクチャおよびハイパーパramータ設定において、この手法の有効性を検証すること。

提案手法

• 各サンプルキャプションのためのSCSTベースライン（グリーディキャプション報酬）を、他のK-1個のサンプルキャプションの報酬平均に置き換える。
• k番目のサンプルキャプション $ \hat{c}_k $ のベースラインとして、式 $ b_k = \frac{1}{K-1}\sum_{j \neq k} R(\hat{c}_j) $ を用いる。
• このベースラインを用いてREINFORCE法により方策勾配を計算する：$ \nabla_\theta \approx (R(\hat{c}_k) - b_k) \nabla_\theta \log p_\theta(\hat{c}_k|I) $。
• ベースラインがサンプルキャプション $ \hat{c}_k $ とは独立していることを保証し、REINFORCE法の分散低減条件を満たす。
• 訓練中に1枚の画像あたりK=5個のキャプションを用い、公平な比較のため、標準SCSTと同一の設定とする。
• 既存の訓練パイプラインに即座に統合可能なドロップインリプレースメントとしてこの手法を実装する。

実験結果

リサーチクエスチョン

• RQ1 サンプル平均ベースラインは、SCSTにおけるグリーディデコードベースラインよりも、勾配分散の低減をより効果的に行えるか？
• RQ2 提案されたベースラインは、異なるモデルアーキテクチャの画像キャプションベンチマークで性能向上をもたらすか？
• RQ3 バッチサイズや訓練期間などの異なるハイパーパramータ設定下でも、性能向上が安定しているか？
• RQ4 異なるランダムシードや初期化設定を用いた場合、この手法はSCSTと比較してどのように異なるか？
• RQ5 性能向上はより良い分散低減によるものであり、それが実証的に確認できるか？

主な発見

• トランスフォーマー・アーキテクチャを用いた場合、COCO Karpathyテストスプリットで本手法はCIDErスコア129.6を達成したのに対し、標準SCSTでは126.6であった。これは2.0ポイントの向上を意味する。
• UpDownアーキテクチャでは、CIDErが122.7から123.9に向上し、1.2ポイントの向上を達成した。BLEU、ROUGE-L、METEOR、SPICEの全指標で一貫した改善が確認された。
• 5つの異なるランダムシードにおいて、本手法はSCSTを常に上回り、CIDErスコアの平均は127.9（SCSTは127.3）であった。
• 訓練曲線の結果、本手法はSCSTよりも早く収束し、より早期に高い検証性能に到達した。
• 勾配分散の分析により、本手法が図2に示すように、SCSTよりもより効果的に勾配分散を低減していることが確認された。
• 長時間の訓練や大きなバッチサイズを用いても、本手法とSCSTとの性能差は維持され、これはハイパーパramータチューニングによるものではないことを示している。