[論文レビュー] TransHP: Image Classification with Hierarchical Prompting

Wenhao Wang, Yifan Sun+2 more|arXiv (Cornell University)|Apr 13, 2023

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

TransHPは、画像分類の精度を向上させるために、中間層に粗いクラスのプロンプトを組み込むことで、ビジョントランスフォーマーモデルにおける階層的プロンプティングメカニズムを提案する。この手法により、精度、データ効率、モデルの説明可能性が向上する。ImageNetではViT-B/16の精度が+2.83%向上し、10%の訓練データ下でもデータ効率が+12.69%向上する。

ABSTRACT

This paper explores a hierarchical prompting mechanism for the hierarchical image classification (HIC) task. Different from prior HIC methods, our hierarchical prompting is the first to explicitly inject ancestor-class information as a tokenized hint that benefits the descendant-class discrimination. We think it well imitates human visual recognition, i.e., humans may use the ancestor class as a prompt to draw focus on the subtle differences among descendant classes. We model this prompting mechanism into a Transformer with Hierarchical Prompting (TransHP). TransHP consists of three steps: 1) learning a set of prompt tokens to represent the coarse (ancestor) classes, 2) on-the-fly predicting the coarse class of the input image at an intermediate block, and 3) injecting the prompt token of the predicted coarse class into the intermediate feature. Though the parameters of TransHP maintain the same for all input images, the injected coarse-class prompt conditions (modifies) the subsequent feature extraction and encourages a dynamic focus on relatively subtle differences among the descendant classes. Extensive experiments show that TransHP improves image classification on accuracy (e.g., improving ViT-B/16 by +2.83% ImageNet classification accuracy), training data efficiency (e.g., +12.69% improvement under 10% ImageNet training data), and model explainability. Moreover, TransHP also performs favorably against prior HIC methods, showing that TransHP well exploits the hierarchical information. The code is available at: https://github.com/WangWenhao0716/TransHP.

研究の動機と目的

• ImageNet や iNaturalist のようなデータセットに内在する階層的セマンティック構造を活用して、画像分類の精度を向上させること。
• 粗いクラスのプロンプトを用いることで、低データ環境下でもモデルの一般化能力を高め、データ効率を向上させること。
• 階層的プロンプティングによって注意機構を誘導し、重要なローカル領域に注目させることで、モデルの説明可能性を向上させること。
• 人間の視覚認識を模倣するために、先祖クラスを動的プロンプトとして用い、子孫クラス間の微細な差異に注目させること。

提案手法

• TransHPは、階層内のすべての粗い（先祖）クラスを表すプロンプトトークンの集合を学習する。
• 中間のトランスフォーマーブロックが、各入力画像に対して即座に粗いクラスの予測を実行する。
• 予測された粗いクラスのプロンプトトークンが、クロスアテンションを介して中間特徴に挿入され、その後の特徴抽出を条件づける。
• 挿入されたプロンプトが注意のダイナミクスを変化させ、粗い分類の後に微細な特徴を特徴付ける領域に注目を向けるように促進する。
• ソフトアテンション重みを用いて、プロンプトトークンをパッチトークンおよびクラストークンと微分可能に統合する。
• アーキテクチャは入力にかかわらず固定パラメータを維持するため、パラメータ共有の変更なしに動的なアテンションモodulationが可能である。

実験結果

リサーチクエスチョン

• RQ1 階層的プロンプティングは、画像分類タスクにおけるビジョントランスフォーマーの精度を向上させることができるか？
• RQ2 特に低データ訓練環境下において、階層的プロンプティングはデータ効率を向上させるか？
• RQ3 粗いクラスから細かいクラスへのプロンプティングによって、モデルの注意機構の説明可能性を高められるか？
• RQ4 性能と頑健性の観点から、従来のプロンプティングおよび階層的分類手法と比較して、階層的プロンプティングはどのように異なるか？

主な発見

• TransHPは、ベースラインと比較してImageNet上でのViT-B/16のトップ1精度を+2.83%向上させる。
• 10%の訓練データ下では、ベースラインと比較して精度向上が+12.69%に達し、優れたデータ効率を示す。
• データが不足する状況下でも、精度の低下が著しく小さい—10%データ時で40.72%（ベースラインは50.97%）—であり、強い頑健性を示している。
• 10%の訓練データ下で、競合手法のHiMulConEを7.17%上回り、低データ環境下での有効性が顕著に示された。
• 可視化結果から、プロンプトの挿入後に、TransHPは注意をグローバルから局所的で重要な領域（例：金魚の顔や冠）へとシフトさせ、焦点が明確になり、説明可能性が向上している。
• 本手法は、粗いカテゴリをプロンプトとして用いることで、人間の視覚認識を効果的に模倣し、微細な差異に注目するように注意を誘導した。