[論文レビュー] Saccader: Improving Accuracy of Hard Attention Models for Vision

Gamaleldin F. Elsayed, Simon Kornblith+1 more|arXiv (Cornell University)|Aug 20, 2019

Explainable Artificial Intelligence (XAI)被引用数 11

ひとこと要約

Saccaderは、分類ラベルのみを用いた事前学習ステップを導入することで、注目領域を初期化し、有効なポリシー勾配最適化を可能にする、新しいハード注目モデルである。このアプローチにより、画像分類タスクにおける精度と解釈可能性が向上し、ImageNetではトップ1で75%、トップ5で91%の精度を達成した。注目領域は画像の3分の1未満にとどまり、標準モデルとの差を縮めている。

ABSTRACT

Although deep convolutional neural networks achieve state-of-the-art performance across nearly all image classification tasks, their decisions are difficult to interpret. One approach that offers some level of interpretability by design is extit{hard attention}, which uses only relevant portions of the image. However, training hard attention models with only class label supervision is challenging, and hard attention has proved difficult to scale to complex datasets. Here, we propose a novel hard attention model, which we term Saccader. Key to Saccader is a pretraining step that requires only class labels and provides initial attention locations for policy gradient optimization. Our best models narrow the gap to common ImageNet baselines, achieving $75\%$ top-1 and $91\%$ top-5 while attending to less than one-third of the image.

研究の動機と目的

• 分類ラベルの監視のみでハード注目モデルを訓練するという課題に取り組むこと。これは困難であり、スケーラビリティに欠ける。
• 注目監視や密なアノテーションに依存せずに、画像分類におけるハード注目メカニズムの精度を向上させること。
• 分類ラベルのみを用いた事前学習ステップにより注目領域を初期化することで、ハード注目における効率的なポリシー勾配最適化を可能にすること。
• 注目ベースのモデルの計算コストとアノテーションの負担を軽減しながら、ImageNetのような複雑なデータセットにおいても競争力のある性能を維持すること。

提案手法

• 分類ラベルのみを用いて初期注目領域を生成する事前学習フェーズを導入し、その後のポリシー勾配学習に活用する。
• 学習されたポリシーに従って空間領域を選択する微分可能注目メカニズムを活用し、訓練中に注目領域を refining する。
• 分類精度に基づく報酬を用いてポリシーを最適化するポリシー勾配アプローチを採用する。
• 2段階の訓練パイプラインを採用：まず分類ラベルを用いて注目領域を初期化する事前学習を行い、次にポリシー勾配でファインチューニングする。
• 訓練中に注目領域を確率的サンプリングで選択する戦略を適用し、離散的注目選択に対してバックプロパゲーションを可能にする。
• 入力画像の3分の1未満の領域に注目を制限することで、解釈可能性を向上させるとともに、計算コストを削減する。

実験結果

リサーチクエスチョン

• RQ1 分類ラベルの監視のみで、注目アノテーションなしにImageNetで競争的な精度を達成できるか？
• RQ2 分類ラベルのみを用いた事前学習ステップが、ハード注目モデルの収束性と性能に顕著に改善をもたらすか？
• RQ3 分類精度を損なわずに、ハード注目モデルにおける注目領域をどの程度まで削減できるか？
• RQ4 エンドツーエンドのハード注目学習と比較して、提案手法の事前学習戦略は安定性と性能の面でどのように異なるか？

主な発見

• Saccaderは、分類ラベルの監視のみと、注目領域を画像の3分の1未満に制限することで、ImageNetでトップ1で75%、トップ5で91%の精度を達成した。
• 事前学習ステップにより、ハード注目モデルにおけるポリシー勾配最適化の安定性と収束性が顕著に向上した。
• モデルは画像の小さな部分にのみ注目することで高い解釈可能性を維持しながら、標準のImageNetベースラインに近い性能を達成した。
• 注目アノテーションや追加の監視なしに、複雑なデータセットにおけるハード注目モデルの有効な訓練を可能にした。