[論文レビュー] Online Discriminative Dictionary Learning for Image Classification Based on Block-Coordinate Descent Method

Shu Kong, Donghui Wang|arXiv (Cornell University)|Mar 5, 2012

Sparse and Compressive Sensing Techniques参考文献 21被引用数 4

ひとこと要約

本稿では、ブロック座標降下を用いて判別的辞書と線形分類器を同時に最適化するオンライン判別的辞書学習アルゴリズムODDLを提案する。この手法により、大規模画像分類のための効率的な学習が可能になる。ODDLはMNIST、USPS、Extended YaleBデータセットにおいて競争力ある分類精度を達成するとともに、バッチ手法と比較して著しく訓練時間を短縮する。

ABSTRACT

Previous researches have demonstrated that the framework of dictionary learning with sparse coding, in which signals are decomposed as linear combinations of a few atoms of a learned dictionary, is well adept to reconstruction issues. This framework has also been used for discrimination tasks such as image classification. To achieve better performances of classification, experts develop several methods to learn a discriminative dictionary in a supervised manner. However, another issue is that when the data become extremely large in scale, these methods will be no longer effective as they are all batch-oriented approaches. For this reason, we propose a novel online algorithm for discriminative dictionary learning, dubbed extbf{ODDL} in this paper. First, we introduce a linear classifier into the conventional dictionary learning formulation and derive a discriminative dictionary learning problem. Then, we exploit an online algorithm to solve the derived problem. Unlike the most existing approaches which update dictionary and classifier alternately via iteratively solving sub-problems, our approach directly explores them jointly. Meanwhile, it can largely shorten the runtime for training and is also particularly suitable for large-scale classification issues. To evaluate the performance of the proposed ODDL approach in image recognition, we conduct some experiments on three well-known benchmarks, and the experimental results demonstrate ODDL is fairly promising for image classification tasks.

研究の動機と目的

• 大規模な学習データを扱う際のバッチベースの判別的辞書学習手法の限界を解消すること。
• 分類性能の向上を図るため、オンラインアルゴリズムとして同時に判別的辞書と線形分類器を学習する手法を開発すること。
• 反復的で交互な最適化を回避するために、オンライン形式で辞書と分類器を同時に更新することで計算コストを低減すること。
• 分類精度を損なわずに、画像分類タスクにおける効率的かつスケーラブルな学習を可能にすること。

提案手法

• 従来のスパースコーディングフレームワークに線形分類器を組み込むことで、教師あり辞書学習の定式化を導入する。
• ブロック座標降下を用いて辞書と分類器を同時に最適化し、1回の訓練サンプルごとに1ステップで更新する。
• 目的関数の代数的変形を用いて、辞書の原子に対する閉形式の更新式を導出する。この更新は、再構成誤差と分類誤差の組み合わせを最小化する。
• 1つのサンプルずつ処理するオンライン学習を適用し、辞書と分類器の推定値を逐次更新する。
• データ行列と係数行列の構造を活用して、効率的な更新計算を実現するための対称行列の定式化を採用する。
• スパース表現誤差と分類誤差を組み合わせた修正された目的関数を用い、ラベル情報は学習プロセスに直接統合する。

実験結果

リサーチクエスチョン

• RQ1 オンライン辞書学習は、判別的画像分類タスクに効果的に適応可能か？
• RQ2 辞書と分類器の共同最適化は、従来の交互最適化に比べ、精度と効率の面で優れているか？
• RQ3 提案手法は、大規模データセットへのスケーリングを効果的に行いながらも、高い分類性能を維持できるか？
• RQ4 収束性と実行時間の観点から、ブロック座標降下アプローチは従来のバッチ手法に比べてどのように差がつくか？

主な発見

• ODDLはMNIST、USPS、Extended YaleBデータセットにおいて、標準ベンチマークで強力な性能を示す、競争力ある分類精度を達成する。
• 特に大規模データに対しては、ksvd-linearのようなバッチベースの手法と比較して、訓練時間が著しく短縮される。
• 辞書と分類器の共同最適化により、従来の方法で用いられる交互更新よりも優れた判別力が得られる。
• 入力サンプルごとに分類器をリアルタイムで更新することで、アルゴリズムは高い効率性を維持し、完全な再学習を回避する。
• 実験結果から、ODDLは分類精度において最先端の手法を上回るか同等の性能を発揮するとともに、大規模データセットへのスケーラビリティを兼ね備えている。