[論文レビュー] Survey on the attention based RNN model and its applications in computer vision

Feng Wang, David M. J. Tax|arXiv (Cornell University)|Jan 25, 2016

Advanced Image and Video Retrieval Techniques参考文献 34被引用数 100

ひとこと要約

この調査はシーケンス対シーケンスタスクのための注意機構ベースのRNNモデルをレビューし、4つの注意機構とそれらのコンピュータビジョンへの適用を詳述し、利点と将来の方向性について論じる。

ABSTRACT

The recurrent neural networks (RNN) can be used to solve the sequence to sequence problem, where both the input and the output have sequential structures. Usually there are some implicit relations between the structures. However, it is hard for the common RNN model to fully explore the relations between the sequences. In this survey, we introduce some attention based RNN models which can focus on different parts of the input for each output item, in order to explore and take advantage of the implicit relations between the input and the output items. The different attention mechanisms are described in detail. We then introduce some applications in computer vision which apply the attention based RNN models. The superiority of the attention based RNN model is shown by the experimental results. At last some future research directions are given.

研究の動機と目的

• シーケンス対シーケンス問題における注意機構の概念と、それがRNNsにどのように関連するかを説明する。
• エンコーダ-デコーダフレームワークを説明し、注意機構が可変長の入力/出力の取り扱いに有益である理由を説明する。
• 4つの注意機構（アイテム単位の soft / アイテム単位の hard、位置単位の soft / 位置単位の hard）と、それらをエンドツーエンドモデルに統合する方法を詳述する。
• コンピュータビジョンにおける注意機構ベースのRNNの応用と、潜在的な将来の研究動向について論じる。）
• method([
• Define and formalize the attention-based RNN model within the encoder-decoder paradigm.
• Present four attention mechanisms: item-wise soft attention, item-wise hard attention, location-wise hard attention, and location-wise soft attention.
• Explain how attention weights are computed (e.g., e_jt = f_att(c_t, h_{j-1}) and alpha_jt via softmax) and how the intermediate code is formed.
• Discuss training as end-to-end differentiable or extended with reinforcement-learning for hard attention.
• Illustrate how attention provides better intermediate representations and interpretability.

提案手法

• エンコーダ-デコーダパラダイム内で、注意機構ベースのRNNモデルを定義し形式化する。
• 4つの注意機構を提示する：アイテム単位の soft 注意、アイテム単位の hard 注意、位置単位の hard 注意、そして位置単位の soft 注意。
• 注意重みがどのように計算されるかを説明する（例：e_jt = f_att(c_t, h_{j-1}) と alpha_jt は softmax によって得られる）および中間コードがどのように形成されるか。
• エンドツーエンド微分可能としての訓練、または hard attention に対して強化学習を用いた拡張としての訓練について論じる。
• 注意機構がどのようにより良い中間表現と解釈性を提供するかを例示する。

実験結果

リサーチクエスチョン

• RQ1 シーケンス対シーケンス問題のためのエンコーダ-デコーダRNNを改善する際の注意の役割は何か？
• RQ2 4つの注意機構は、入力タイプ、計算、微分可能性の観点でどのように異なるのか？
• RQ3 視覚系のシーケンス問題に対する従来のRNNに比べ、注意機構ベースのRNNの利点は何か？
• RQ4 注意機構をさまざまなコンピュータビジョンのタスクとデータモダリティにどのように適用できるか？
• RQ5 注意機構ベースのRNNモデルにおける将来の方向性と課題は何か？

主な発見

• 注意機構ベースのRNNは入力の一部に差異的な重みを割り当て、暗黙の入力–出力関係を捉える。
• 4つの注意機構が提示される：アイテム単位の soft、アイテム単位の hard、位置単位の soft、および位置単位の hard 注意。
• ハード注意は関連部分に焦点を当てることで計算を削減でき、学習は強化学習技術によって促進される。
• Soft注意は微分可能であり、RNNと注意モジュールのエンドツーエンド訓練を可能にする。
• 本調査は、対象とする文脈における注意機構ベースのRNNの優位性を示す実験結果を報告している。
• モデルはシーケンス対シーケンス問題をエンコーダ、注意、デコーダの構成要素に分解し、柔軟な入力（特徴マップまたは明示的なアイテム列）を可能にする。