[論文レビュー] Robust Image Analysis by L1-Norm Semi-supervised Learning

Zhiwu Lu, Yuxin Peng|arXiv (Cornell University)|Oct 14, 2011

Sparse and Compressive Sensing Techniques参考文献 51被引用数 8

ひとこと要約

本稿では、正規化ラプラシアン行列の固有ベクトルを用いてラプラシアン正則化を再定式化することで、スパースコーディングを可能にする$L_1$-ノルム半教師あり学習手法を提案する。この手法により、ノイズに強い画像分類と視覚的・言語的Bag-of-Words（BOW）の最適化が実現され、コミュニティ寄稿型のノイズの多い画像データセットにおいて、$L_2$-ベースの手法や先行するSSL手法を上回る性能を発揮する。

ABSTRACT

This paper presents a novel L1-norm semi-supervised learning algorithm for robust image analysis by giving new L1-norm formulation of Laplacian regularization which is the key step of graph-based semi-supervised learning. Since our L1-norm Laplacian regularization is defined directly over the eigenvectors of the normalized Laplacian matrix, we successfully formulate semi-supervised learning as an L1-norm linear reconstruction problem which can be effectively solved with sparse coding. By working with only a small subset of eigenvectors, we further develop a fast sparse coding algorithm for our L1-norm semi-supervised learning. Due to the sparsity induced by sparse coding, the proposed algorithm can deal with the noise in the data to some extent and thus has important applications to robust image analysis, such as noise-robust image classification and noise reduction for visual and textual bag-of-words (BOW) models. In particular, this paper is the first attempt to obtain robust image representation by sparse co-refinement of visual and textual BOW models. The experimental results have shown the promising performance of the proposed algorithm.

研究の動機と目的

• コミュニティ寄稿型の画像コレクション（例：Flickr）において、手動によるアノテーションがしばしば不正確または不完全であるという課題に対処すること。
• データの多様体構造を明示的に組み込む$L_1$-ノルム正則化を用いた新しい半教師あり学習フレームワークの開発。
• $L_1$-ノルム最適化から得られるスパarsityを活用して、画像分類とBag-of-Wordsモデルの最適化におけるロバスト性の向上。
• 統一的な$L_1$-ノルム半教師あり学習アプローチを用いて、視覚的および言語的BOWモデルのスパースな共同最適化を可能にすること。
• $L_1$-ノルム正則化が、ラベルノイズと不完全な語彙表現の両方を効果的に処理する点で、従来の$L_2$-ノルム手法を上回る利点を示すこと。

提案手法

• 正規化ラプラシアン行列の対称的固有値分解を活用して、ラプラシアン正則化を$L_1$-ノルム項に再定式化し、データ多様体構造への明示的依存を保証する。
• $L_1$-ノルムラプラシアン正則化を、固有ベクトルの部分集合上で線形再構成問題として表現し、反復的シャーリング・スレッディング法による効率的なスパースコーディングを可能にする。
• 反復的シャーリング・スレッディング法（ISTA）を用いた高速スパースコーディングにより、$L_1$-ノルム最適化問題を解き、計算コストを低減しながらスパarsityを維持する。
• 視覚的および言語的BOW表現を統合された特徴として扱い、両モodalのグラフを構築することで、$L_1$-正則化ラベル伝搬を用いて視覚的および言語的BOWモデルを共同で最適化する。
• $k$-近傍（k-NN）グラフを用いてグラフ構築を行い、交差検証によりハイパーパrameter（$k$, $ ho$, $ u$, $m$）を最適化し、効率性と性能のバランスを取る。
• 視覚的および言語的BOW表現を半教師ありフレームワーク内で統合的特徴として扱い、$L_1$-正則化ラベル伝搬により相互に最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 正規化ラプラシアン行列の固有値分解に基づいて、ラベルノイズに対するロバスト性を向上させるために、$L_1$-ノルム正則化を効果的に定式化できるか？
• RQ2 $L_1$-ノルム半教師あり学習は、$L_2$-ノルムおよび既存のSSL手法と比較して、ノイズに強い画像分類タスクで優れた性能を示すか？
• RQ3 $L_1$-ノルム半教師あり学習は、視覚的および言語的BOWモデルの共同最適化を通じて、それらの品質をどの程度向上できるか？
• RQ4 本手法は、特に現実世界のノイズの多いデータセットにおいて、$k$ や $m$ などのハイパーパrameterの選択に対してロバストか？
• RQ5 $L_1$-ノルム正則化は、不完全または不正確なBOW表現において、ノイズを同時に抑制し、ラベルを効果的に伝搬できるか？

主な発見

• 提案手法の$L_1$-ノルム半教師あり学習は、最適化された視覚的BOWモデルを用いてFlickr画像データセットで87.4%の精度を達成し、元のBOWモデルと比較して27.3%の向上を示した。
• 言語的BOW最適化においては、83.2%の精度を達成し、元のモデルと比較して5.4%の向上、$L_2$-SSLと比較して1.7%の向上を示した。
• $L_1$-ノルム手法は、視覚的BOW最適化において$L_2$-SSLベースラインおよび[5]の手法を上回り、ノイズ抑制能力と不完全な語彙表現の処理能力の両面で優れた性能を示した。
• 交差検証の結果、$k$ および $m$ のハイパーパrameterに対して低感度であり、さまざまな設定でも安定した性能を示した。
• $L_1$-SSLによる視覚的および言語的BOWモデルのスパース共同最適化は、画像分類性能を顕著に向上させ、マルチモodal信号を共同で活用できる能力を裏付けた。
• $L_1$-ノルム定式化は、ラベル伝搬にとどまらず、ノイズ低減に対しても有効であることが示され、現実世界のノイズの多いデータに対して$L_2$-ベース手法よりも適していることが明らかになった。