[論文レビュー] Active Dictionary Learning in Sparse Representation Based Classification

Jin Xu, Haibo He+1 more|arXiv (Cornell University)|Sep 19, 2014

Sparse and Compressive Sensing Techniques参考文献 29被引用数 5

ひとこと要約

本稿では、分類誤差と再構成誤差をアクティブラーニングの基準として用い、辞書構築のための最適な訓練サンプルを反復的に選択する、スパース表現ベース分類（SRC）のための新しい辞書学習手法であるアクティブディクショナリーラーニング（ADL）を提案する。ADLは、UCIデータセットおよび拡張ヤン・ビー顔データセットにおいて、ベースライン手法（全訓練データを用いた辞書を含む）と比較して、顕著に小さな辞書サイズで最先端の分類精度を達成する。

ABSTRACT

Sparse representation, which uses dictionary atoms to reconstruct input vectors, has been studied intensively in recent years. A proper dictionary is a key for the success of sparse representation. In this paper, an active dictionary learning (ADL) method is introduced, in which classification error and reconstruction error are considered as the active learning criteria in selection of the atoms for dictionary construction. The learned dictionaries are caculated in sparse representation based classification (SRC). The classification accuracy and reconstruction error are used to evaluate the proposed dictionary learning method. The performance of the proposed dictionary learning method is compared with other methods, including unsupervised dictionary learning and whole-training-data dictionary. The experimental results based on the UCI data sets and face data set demonstrate the efficiency of the proposed method.

研究の動機と目的

• スパース表現ベース分類（SRC）における効果的な辞書の構築という課題に取り組むこと。ここで、辞書の質が性能に大きく影響する。
• アクティブラーニングを用いて代表的でコンパクトな辞書を学習することで、大規模な訓練データの辞書の計算コストとストレージコストを低減すること。
• 分類誤差と再構成誤差の二重誤差基準に基づく情報量の多い訓練サンプルの選択を通じて、分類精度と再構成忠実度を向上させること。
• 不均衡なデータ設定および少数の訓練サンプルレート下での、提案手法のロバスト性と効率性を評価すること。
• 多様なデータセットにおいて、教師なし辞書学習、クラスタリングベース手法、および全訓練データ辞書と比較してADLの性能を評価すること。

提案手法

• ADLは、再構成誤差と分類誤差の両方の最小化に寄与する訓練サンプルの貢献度に基づいて、辞書構築のためのサンプルを選択するアクティブラーニングプロセスとして辞書学習を定式化する。
• 本手法は二段階の反復的プロセスを用いる：(1) 既存の辞書を用いたスパースコーディングにより再構成誤差と分類誤差を計算し、(2) 誤差低減を最大にする訓練セットからの新しいアトムを選択する。
• 分類誤差はスパースコーディングフレームワーク内での予測ラベルと真のラベルの差として計算され、再構成誤差は残差ノルム ||y - Dx||₂ として定義される。
• アクティブ選択基準は両誤差を組み合わせ、再構成が困難でかつ誤分類されるサンプルを優先することで、識別性と代表性を持つアトムを確保する。
• 選択されたサンプルを用いて辞書を反復的に更新し、スパースコーディングは ℓ₁正則化付き最小二乗法（min ||y - Dx||²₂ + λ||x||₁）を用いて実行される。
• 本手法はUCIデータセットおよび拡張ヤン・ビー顔データセットに適用され、安定性を確保するため複数回の実行結果の平均がとられる。

実験結果

リサーチクエスチョン

• RQ1 再構成誤差と分類誤差の両方に基づくアクティブラーニング基準は、スパース表現ベース分類における辞書の質を向上させ得るか？
• RQ2 分類精度と再構成誤差の観点から、ADLの性能は教師なし辞書学習および全訓練データ辞書と比較してどうなるか？
• RQ3 ADLは、顕著に小さな辞書サイズで、既存手法と同等またはそれ以上の性能を達成できるか？
• RQ4 ADLは、訓練データの不均衡およびランダムサンプリングに対してどれほどロバストか？
• RQ5 提案されたアクティブラーニングフレームワークにおいて、辞書サイズと分類精度のトレードオフは何か？

主な発見

• UCIデータセットでは、すべての辞書サイズにおいてADLが最高の分類精度を達成し、0.5の辞書サイズレートで74.19%の精度に達し、SOMDおよびNGASDを上回る。
• 再構成性能に関しては、すべての辞書サイズレートで平均順位が常に最良であり、優れた表現能力を示している。
• 拡張ヤン・ビー顔データセットでは、ADLは750の辞書サイズで90%の分類精度を達成し、SRC、SVM、DLSIと同等またはそれ以上の性能を示した。
• 600の辞書サイズでもADLは86%の精度を達成し、少数のアトムでも強力な性能を示した。
• ADLはFDDLよりも辞書のコンパクトさに優れており、クラス固有の辞書ではなく、1つのユニバーサル辞書を用いることで、競争力のある精度を維持した。
• 本手法は訓練データのランダムサンプリングに対してもロバストであることが示され、限られたまたは不均衡なラベル付きデータが与えられる現実世界のシナリオへの応用可能性を示唆している。