[論文レビュー] Attention networks for image-to-text.

Jason Poulos, Rafael Valle|arXiv (Cornell University)|Dec 11, 2017

Handwritten Text Recognition Techniques被引用数 6

ひとこと要約

本論文は、語彙ではなく文字列を処理するアテンションベースのエンコーダデコーダモデルを提案する。ソフトマックスアテンションを用いることで、線形アライメントを正確に学習し、RNNベースのモデルやシグモイドアテンションよりも優れた性能を発揮する。

ABSTRACT

The paper approaches the problem of image-to-text with attention-based encoder-decoder networks that are trained to handle sequences of characters rather than words. We experiment on lines of text from a popular handwriting database with different attention mechanisms for the decoder. The model trained with softmax attention achieves the lowest test error, outperforming several other RNN-based models. Our results show that softmax attention is able to learn a linear alignment whereas the alignment generated by sigmoid attention is linear but much less precise.

研究の動機と目的

• 語彙レベルではなく文字レベルでシーケンスをモデル化することにより、画像対テキスト生成の性能を向上させること。
• RNNベースのエンコーダデコーダフレームワーク内での異なるアテンションメカニズム（特にソフトマックスアテンションとシグモイドアテンション）を評価すること。
• 画像特徴量と生成テキストとの間で、より正確なアライメントを可能にするアテンションメカニズムを特定すること。
• 従来のRNNベースのモデルと比較して、画像対テキストタスクにおけるテスト誤差を低減すること。

提案手法

• モデルはエンコーダデコーダアーキテクチャを採用しており、両方のコンponentが再帰的ニューラルネットワーク（RNN）である。
• テキスト生成は文字レベルで実行され、デコーダは1ステップごとに1文字ずつ予測する。
• ソフトマックスアテンションは、アライメントスコアに基づいてエンコーダの隠れ状態を重み付けしてコンテキストベクトルを計算する。
• シグモイドアテンションは比較用のメカニズムとして用いられ、シグモイド活性化関数を用いてアライメントスコアを生成する。
• モデルは、画像内の文字列を含む手書きデータベース上でエンドツーエンドに訓練される。
• アテンション重みは、各デコーディングステップで関連する画像領域に動的に注目するために用いられる。

実験結果

リサーチクエスチョン

• RQ1 テキストを文字レベルでモデル化することは、画像対テキスト生成の性能を向上させるか？
• RQ2 ソフトマックスアテンションとシグモイドアテンションの両メカニズムは、画像特徴量とテキストシーケンスの間のアライメント学習においてどのように比較されるか？
• RQ3 ソフトマックスアテンションは、シグモイドアテンションよりもより正確な線形アライメントを学習できるか？
• RQ4 アテンションメカニズムの選択は、画像対テキストタスクにおけるテスト誤差に顕著な影響を与えるか？

主な発見

• ソフトマックスアテンションを用いたモデルは、評価されたすべてのRNNベースのモデルの中で最も低いテスト誤差を達成した。
• ソフトマックスアテンションは、画像特徴量とテキストシーケンスの間で高精度な線形アライメントを学習した。
• シグモイドアテンションも線形アライメントを生成したが、ソフトマックスアテンションと比べて顕著に低い正確性であった。
• 結果から、この設定においてソフトマックスアテンションはシグモイドアテンションよりも画像対テキスト生成に効果的であることが示された。