[論文レビュー] When Dictionary Learning Meets Deep Learning: Deep Dictionary Learning and Coding Network for Image Recognition with Limited Data

Hao Tang, Hong Liu+2 more|arXiv (Cornell University)|May 21, 2020

Advanced Image and Video Retrieval Techniques被引用数 9

ひとこと要約

本稿では、限られたデータにおける画像認識のための特徴表現を向上させるために、従来の畳み込み層を複合辞書学習および符号化層に置き換える新しいアーキテクチャ、Deep Dictionary Learning and Coding Network (DDLCN) を提案する。符号化における局所性を強制し、階層的な辞書をスタックすることで、より少ないハイパーパrameterと高速な推論を実現しながら、複数のベンチマークで最先端の性能を達成する。

ABSTRACT

We present a new Deep Dictionary Learning and Coding Network (DDLCN) for image recognition tasks with limited data. The proposed DDLCN has most of the standard deep learning layers (e.g., input/output, pooling, fully connected, etc.), but the fundamental convolutional layers are replaced by our proposed compound dictionary learning and coding layers. The dictionary learning learns an over-complete dictionary for input training data. At the deep coding layer, a locality constraint is added to guarantee that the activated dictionary bases are close to each other. Then the activated dictionary atoms are assembled and passed to the compound dictionary learning and coding layers. In this way, the activated atoms in the first layer can be represented by the deeper atoms in the second dictionary. Intuitively, the second dictionary is designed to learn the fine-grained components shared among the input dictionary atoms, thus a more informative and discriminative low-level representation of the dictionary atoms can be obtained. We empirically compare DDLCN with several leading dictionary learning methods and deep learning models. Experimental results on five popular datasets show that DDLCN achieves competitive results compared with state-of-the-art methods when the training data is limited. Code is available at https://github.com/Ha0Tang/DDLCN.

研究の動機と目的

• 訓練データが限られている状況における画像認識の一般化性能の低さという課題に対処すること。
• 従来の辞書学習およびスパース符号化の限界（物理的でない「アンカーポイント」の大量依存や、弱い階層的表現）を克服すること。
• ディープラーニングの特徴抽象化の階層的特性と、辞書学習のスパースで解釈可能な表現の長所を統合した統一フレームワークを構築すること。
• 限られた訓練サンプルでも効率的でスケーラブルな、トレーニング可能でエンドツーエンド互換性を持つネットワークを開発すること。

提案手法

• 入力データから過完備辞書を学習する複合辞書学習および符号化層に、標準の畳み込み層を置き換える。
• 符号化中に局所性制約を適用し、活性化された辞書原子が空間的に近接するようにすることで、近似精度とロバストネスを向上させる。
• 複数の辞書学習および符号化層をスタックして階層的表現を構築し、より深い層が前の層の活性化された原子から微細な構成要素を学習する。
• 二段階の学習プロセスを採用：まず K-SVD や類似手法を用いて辞書を事前学習し、次に上位に線形SVM分類器を設けてネットワークを微調整する。
• 学習済みの辞書を標準層（例：プーリング、全結合層）と組み合わせたディープネットワークアーキテクチャに統合し、標準的なトレーニングおよび推論パイプラインとの互換性を確保する。
• スパarsityと局所性の両方をバランスさせる共同目的関数を最適化し、計算効率を高めるために ℓ2-ノルムの緩和を用いる。

実験結果

リサーチクエスチョン

• RQ1 限られた訓練データ下で、ディープ辞書学習フレームワークが、標準的な辞書学習やディープCNNを上回る性能を発揮できるか？
• RQ2 符号化プロセスにおける局所性の強制が、表現品質および分類精度にどのように寄与するか？
• RQ3 階層的辞書学習層は、複数の抽象化レベルにわたり、判別性の高い低レベル特徴をどの程度捉えることができるか？
• RQ4 畳み込み層を辞書ベースの層に置き換えることで、エンドツーエンドCNNと比較してハイパーパrameter数を減らし、トレーニング効率を向上させられるか？

主な発見

• DDLCN-2 は MNIST でクラスあたり 500 個の訓練サンプルで 99.02% の精度を達成し、大多数のベースライン辞書学習手法を上回り、ディープCNNに近い性能に迫っている。
• DDLCN-6 は MNIST で 99.57% の精度を達成しており、より深い階層的辞書学習が性能向上に寄与することを示しているが、6層を越えては利得が減少する傾向にある。
• CIFAR-10 ではクラスあたりたった 60 個の訓練サンプルでの条件下でも、DDLCN は VGG19 や ResNet-18 といった最先端手法を上回る 78.15% の精度を達成した。
• エンドツーエンドCNNと比較して、はるかに少ないハイパーパrameterで競争力のある結果を達成しており、固定された特徴抽出器と線形SVMによる微調整のため、トレーニングがより効率的である。
• MNIST の混同行列から、最も頻繁に誤分類されるクラスペアは (2,7)、(4,9)、(3,5) であることが判明し、一部のクラス重複は見られるものの、全体としてのロバストネスが確認された。
• DDLCN-3、DDLCN-4、DDLCN-5 は、浅いバージョンと比較して一貫した性能向上を示しており、より深い階層的表現学習の有効性が裏付けられた。