[論文レビュー] Constructing a Non-Negative Low Rank and Sparse Graph with Data-Adaptive Features

Liansheng Zhuang, Shenghua Gao+4 more|arXiv (Cornell University)|Sep 3, 2014

Face and Expression Recognition参考文献 27被引用数 3

ひとこと要約

本稿では、データ埋め込みとグラフ構築を同時に学習することで、グローバルな低ランク構造とローカルなスパース近傍を捉える非負の低ランクかつスパースグラフ（NNLRS-graph）を、半教師あり学習のために提案する。この手法は顔認識データセットにおいて最先端の手法を上回り、特徴とグラフ構造の共同学習が分類精度と耐障害性を顕著に向上させることを示している。

ABSTRACT

This paper aims at constructing a good graph for discovering intrinsic data structures in a semi-supervised learning setting. Firstly, we propose to build a non-negative low-rank and sparse (referred to as NNLRS) graph for the given data representation. Specifically, the weights of edges in the graph are obtained by seeking a nonnegative low-rank and sparse matrix that represents each data sample as a linear combination of others. The so-obtained NNLRS-graph can capture both the global mixture of subspaces structure (by the low rankness) and the locally linear structure (by the sparseness) of the data, hence is both generative and discriminative. Secondly, as good features are extremely important for constructing a good graph, we propose to learn the data embedding matrix and construct the graph jointly within one framework, which is termed as NNLRS with embedded features (referred to as NNLRS-EF). Extensive experiments on three publicly available datasets demonstrate that the proposed method outperforms the state-of-the-art graph construction method by a large margin for both semi-supervised classification and discriminative analysis, which verifies the effectiveness of our proposed method.

研究の動機と目的

• 高次元データにおいて、グローバルな低ランク構造とローカルなスパース構造の両方を捉えることに失敗する既存のグラフ構築手法の限界を解決すること。
• 類似度グラフにおいて物理的意味を持たない負の重みを有する低ランク表現の問題を克服すること。
• 分類の性能を向上させるために、データ埋め込みとグラフ構造を別々に扱う代わりに、両者を同時に最適化する共同学習により、グラフベースの半教師あり学習を改善すること。
• 生成的（グローバル構造を捉える）でありながら、判別的（ローカル幾何を保持する）なグラフ構築手法を開発すること。

提案手法

• 他のデータポイントの線形結合からの非負の係数としてエッジ重みを持つグラフを学習するための非負の低ランクかつスパース表現問題を定式化する。
• 非負性を課すことにより、各データポイントがその近傍の凸包上に位置することを保証し、解釈可能性と物理的意味を向上させる。
• スパarsityを強制することでローカルな線形構造を捉え、低ランク性を強制することでデータ内の部分空間の混合をモデル化する。
• データ埋め込み行列とNNLRSグラフの両方を一度の目的関数内で同時に学習する、共同最適化フレームワークNNLRS-EFを導入する。
• 非凸・非滑らか・非負の制約を扱うために、交替方向乗数法（ADMM）を用いて最適化問題を解く。
• スパarsityと低ランク性のバランスを調整するパラメータβと、データ内の著しい不正な誤差（ゴーストノイズ）を処理するためのλを、パラメータ化された正則化として採用する。

実験結果

リサーチクエスチョン

• RQ1 非負の低ランクかつスパース表現によるグラフ構築が、既存の手法よりもグローバルおよびローカルなデータ構造をよりよく捉えられるか？
• RQ2 データ埋め込みとグラフ構築の共同学習は、逐次処理と比較して性能をどのように向上させるか？
• RQ3 βパラメータがグラフ構築におけるスパarsityと低ランク性のトレードオフに与える影響は何か？
• RQ4 グラフ学習フレームワーク内にデータ埋め込みを組み込むことで、分類精度と耐障害性が向上するか？
• RQ5 実世界の半教師あり学習タスクにおいて、NNLRSグラフはβやλといったパラメータ設定に対してどれほど感度を示すか？

主な発見

• NNLRSグラフは、YaleBおよびPIE顔データベースにおいて、最先端の手法よりも顕著に低い分類誤差率を達成しており、PIEデータセットでは50%のラベル付きサンプルで誤差率が5.52%まで低下した。
• NNLRS-EFによる共同学習は、ベースラインのPCA+NNLRS手法を上回り、特徴とグラフ構造のエンドツーエンド最適化がより優れた性能をもたらすことを示している。
• パラメータ感度分析の結果、スパarsity（β）と低ランク性の両方が重要であることが判明。βが大きすぎる（例：β=100）か小さすぎる（例：β=0）と性能が低下し、β=0.2が最適な結果をもたらした。
• NNLRSグラフはラベル割合の変動に対しても強い性能を維持しており、PIEデータセットではラベル割合が10%（誤差率38.93%）から60%（誤差率6.52%）に増加するにつれて、誤差率が安定して低下した。
• λを10に固定した場合でも性能が安定しており、著しい誤差（ゴーストノイズ）を効果的に処理できることを示している。
• 提案フレームワークは、半教師あり分類および判別的解析の両面で最先端の性能を達成しており、データの内蔵構造を効果的に明らかにできることを確認した。