[論文レビュー] Dynamic Computational Time for Visual Attention

Zhichao Li, Yi Yang+4 more|arXiv (Cornell University)|Mar 30, 2017

Visual Attention and Saliency Detection参考文献 51被引用数 18

ひとこと要約

本稿では、強化学習を用いて推論をいつ停止するかを学習する、Recurrent Visual Attention Model (RAM) の拡張版である Dynamic Time Recurrent Attention Model (DT-RAM) を提案する。このモデルにより、入力の複雑さに応じて推論に要する計算時間を可変化できる。各ステップで「継続／停止」の2値行動を追加することで、CUB-200-2011 において平均推論時間を 40% 減少させつつ、最先端の 81.8% の精度を維持した。

ABSTRACT

We propose a dynamic computational time model to accelerate the average processing time for recurrent visual attention (RAM). Rather than attention with a fixed number of steps for each input image, the model learns to decide when to stop on the fly. To achieve this, we add an additional continue/stop action per time step to RAM and use reinforcement learning to learn both the optimal attention policy and stopping policy. The modification is simple but could dramatically save the average computational time while keeping the same recognition performance as RAM. Experimental results on CUB-200-2011 and Stanford Cars dataset demonstrate the dynamic computational model can work effectively for fine-grained image recognition.The source code of this paper can be obtained from https://github.com/baidu-research/DT-RAM

研究の動機と目的

• 入力の複雑さに応じて推論中の計算時間を可変化できる視覚的注意モデルの実現。
• 再帰的注意ネットワークにおける動的停止のための深層強化学習ポリシーの訓練における課題の解決。
• 精度を損なわず、細分化された画像認識における効率性の向上。
• 長時間のシーケンスに対するポリシー勾配の訓練を安定化させるために、カリキュラム学習と中間監督を検討。
• 動的計算時間により、簡単な入力では高速化しつつ、難しい入力では性能を維持できるかの検証。

提案手法

• 各時刻に追加の2値行動（継続／停止）を含む標準的な RAM アーキテクチャの拡張。
• 強化学習（REINFORCE）を用いて、注意ポリシーと停止ポリシーを同時に最適化。
• RAM の事前学習段階で、段階的に最大ステップ数を増加させるカリキュラム学習を適用。
• DT-RAM を事前学習済み RAM の重みで初期化し、ポリシー勾配法を用いて微調整。
• 長時間のシーケンスに対する訓練の安定化のため、各ステップで中間監督を導入。
• 部分的に観測可能なマルコフ決定過程（POMDP）の定式化に基づき、エージェントがいつ注意を停止するかを決定するエンドツーエンドの訓練を実施。

実験結果

リサーチクエスチョン

• RQ1 再帰的視覚的注意モデルは、入力の複雑さに応じて推論時間を動的に調整できるか？
• RQ2 学習可能な停止ポリシーを追加することで、認識精度を損なわず計算効率が向上するか？
• RQ3 カリキュラム学習と中間監督は、動的推論のための深層強化学習ポリシーの訓練においてどの程度有効か？
• RQ4 細分化された認識において、画像の難易度レベルに応じて停止ステップの分布はどのように変化するか？
• RQ5 動的計算時間により、簡単な入力では顕著な高速化が達成され、同時に難しい入力でも性能が維持されるか？

主な発見

• DT-RAM は CUB-200-2011 データセットでトップ-1 精度 81.8% を達成し、6 ステップで動作する標準的な RAM と同等の性能を示した。
• DT-RAM が使用する平均ステップ数は 3.6 であり、6 ステップで動作する RAM と比較して平均計算コストが 40% 減少した。
• Stanford Cars データセットでは、最大 3 ステップで DT-RAM が 81.8% の精度を達成し、平均 3.6 ステップで推論を実行した。
• CUB-200-2011 における停止ステップの分布は、簡単な画像がしばしば 1〜2 ステップで分類される一方、難しい画像は最大 6 ステップを要することが示された。
• カリキュラム学習を用いることで訓練の安定性が向上し、ステップ数の増加に伴い性能が向上するようになり、特に初期から訓練した場合に見られる性能の低下を回避できた。
• 中間監督を導入することで、長時間のシーケンスに対する性能が著しく向上し、6 ステップを用いた場合に中間監督なしでは精度が 74.7% まで低下することが分かった。