[論文レビュー] Jointly Learning Non-negative Projection and Dictionary with Discriminative Graph Constraints for Classification

Weiyang Liu, Zhiding Yu+3 more|arXiv (Cornell University)|Nov 14, 2015

Advanced Image and Video Retrieval Techniques参考文献 46被引用数 5

ひとこと要約

本稿では、分類性能を向上させるために、グラフ制約を用いて非負の特徴射影と判別的辞書学習を同時に最適化するフレームワークである、共同非負射影および辞書学習（JNPDL）を提案する。部分ベース特徴抽出とラベルに依存する正則化を統合することで、JNPDLは画像および画像集合分類ベンチマークで最先端の性能を達成し、Honda/UCSD、CMU MoBo、YouTube Celebritiesデータセットでそれぞれ100%、97.1%、77.4%の正確性を示し、既存手法を上回った。

ABSTRACT

Sparse coding with dictionary learning (DL) has shown excellent classification performance. Despite the considerable number of existing works, how to obtain features on top of which dictionaries can be better learned remains an open and interesting question. Many current prevailing DL methods directly adopt well-performing crafted features. While such strategy may empirically work well, it ignores certain intrinsic relationship between dictionaries and features. We propose a framework where features and dictionaries are jointly learned and optimized. The framework, named joint non-negative projection and dictionary learning (JNPDL), enables interaction between the input features and the dictionaries. The non-negative projection leads to discriminative parts-based object features while DL seeks a more suitable representation. Discriminative graph constraints are further imposed to simultaneously maximize intra-class compactness and inter-class separability. Experiments on both image and image set classification show the excellent performance of JNPDL by outperforming several state-of-the-art approaches.

研究の動機と目的

• 既存の辞書学習手法が特徴と辞書を独立して扱い、それらの相関関係を無視するという限界を是正すること。
• 手動で設計された特徴に依存せず、特徴射影と辞書学習を同時に最適化することで分類性能を向上させること。
• グラフ制約を用いてラベル情報を統合し、クラス内 Compactness とクラス間分離性を最大化することで、判別力を強化すること。
• 共同特徴-辞書学習の文脈において、非負の射影学習の収束保証付き最適化アルゴリズムを開発すること。
• 画像および画像集合分類タスクの両方において、共同学習フレームワークの優位性を実証すること。

提案手法

• フレームワークは、射影自己表現（PSR）モデル Y ≈ M P Y を用いる。ここで P は非負の射影行列、M は基底行列であり、部分ベース特徴学習を可能にする。
• 非負の射影は、収束保証付きの乗法的更新則を用いて学習され、加法的かつ部分ベースの表現を保証する。
• 判別的グラフ制約が、射影された特徴および符号化係数の両方に適用され、クラス内Compactnessとクラス間分離性を強制する。
• 符号化係数が同一クラスのサンプルのみをよく表現するように、再構成の判別的制約が確保され、耐障害性が向上する。
• 最適化は、射影行列 P、辞書 M、符号化係数の更新を交互に繰り返す。すべての要素が非負性制約およびグラフ正則化の下で制御される。
• 本手法は、再構成誤差、グラフベース正則化、非負性制約を同時に最小化する統一された最適化問題として定式化される。

実験結果

リサーチクエスチョン

• RQ1 特徴射影と辞書学習を同時に学習することで、逐次的または独立的な最適化と比較して分類性能が向上するか？
• RQ2 非負の射影を組み込むことで、学習された特徴および辞書の判別的質が向上するか？
• RQ3 共同特徴-辞書学習の文脈において、グラフ制約はクラス内Compactnessとクラス間分離性の向上にどの程度効果的か？
• RQ4 提案手法は、画像および画像集合分類ベンチマークで最先端の手法を上回るか？
• RQ5 限られた学習サンプルやノイズの多いデータ（例：動画ベース認識）においても、共同最適化フレームワークは有効性を保つのか？

主な発見

• Honda/UCSDデータセットでは、JNPDLが100%の認識正確性を達成し、次善の手法（SFDL）の100%、LMKMLの98.5%を上回った。
• CMU MoBoデータセットでは、JNPDLが97.1%の正確性を達成し、SFDL（96.7%）および LMKML（96.3%）を上回った。
• YouTube Celebrities（YTC）データセットでは、JNPDLが77.4%の正確性を達成し、SFDL（76.7%）および LMKML（78.2%）を最良のfoldで上回った。
• アブレーションスタディでは、1つの動画あたりのフレーム数を変化させた場合でも、JNPDLは小規模な学習セットにおいても高い性能を維持した。
• JNPDLの計算時間は1クエリあたり約5秒であり、最先端手法と同等の実用的効率性を示した。
• アブレーションスタディにより、グラフ制約を含む共同学習が、このような制約なしのベースライン手法と比較して顕著に性能向上をもたらすことが確認された。