[論文レビュー] Ensemble Sparse Models for Image Analysis

Karthikeyan Natesan Ramamurthy, Jayaraman J. Thiagarajan+2 more|arXiv (Cornell University)|Feb 27, 2013

Sparse and Compressive Sensing Techniques参考文献 43被引用数 6

ひとこと要約

本稿では、複数の弱いスパース表現を組み合わせることで画像解析タスクの性能を向上させるアンサンブルスパースモデルを提案する。ブースティングに類似した逐次的辞書学習、または訓練例のランダムサブセットを用いた方法により、単一辞書法に比べて画像回復およびクラスタリングの両面で、大規模データセットにおいて顕著な精度向上と計算効率の向上を達成する。

ABSTRACT

Sparse representations with learned dictionaries have been successful in several image analysis applications. In this paper, we propose and analyze the framework of ensemble sparse models, and demonstrate their utility in image restoration and unsupervised clustering. The proposed ensemble model approximates the data as a linear combination of approximations from multiple extit{weak} sparse models. Theoretical analysis of the ensemble model reveals that even in the worst-case, the ensemble can perform better than any of its constituent individual models. The dictionaries corresponding to the individual sparse models are obtained using either random example selection or boosted approaches. Boosted approaches learn one dictionary per round such that the dictionary learned in a particular round is optimized for the training examples having high reconstruction error in the previous round. Results with compressed recovery show that the ensemble representations lead to a better performance compared to using a single dictionary obtained with the conventional alternating minimization approach. The proposed ensemble models are also used for single image superresolution, and we show that they perform comparably to the recent approaches. In unsupervised clustering, experiments show that the proposed model performs better than baseline approaches in several standard datasets.

研究の動機と目的

• 単一辞書によるスパースコーディングの限界を克服し、画像修復およびクラスタリングの分野においてアンサンブルフレームワークを提案すること。
• 最適な1つの辞書に依存するのではなく、複数のスパースモデルを組み合わせることで近似精度とロバスト性を向上させること。
• 効率的なグリーディ辞書学習と例ベース辞書を用いることで、大規模応用における計算複雑度を低減すること。
• 教師あり（画像回復）および教師なし（クラスタリング）の両方の画像解析タスクにおいて、アンサンブルモデルの有効性を示すこと。
• 理論的裏付けを提供し、最悪状況下でも個々の構成モデルのうち最高のものよりも優れる可能性があることを示すこと。

提案手法

• L個の個別のスパースモデルからなるアンサンブルモデルを、各モデルが異なる辞書 $\mathbf{D}_l$ を用いる線形結合として定式化する。
• 各後続の辞書が、直前のモデルによる再構成誤差が大きい訓練例を最適化対象とするブースティングに類似した逐次的辞書学習を実施する。
• 弱い辞書の多様性を保証するため、代替的に訓練例のランダムサブセット選択を用いる方法を採用する。
• クラスタリングの目的では、複数モデルからの累積係数ベクトルを用いてスパース表現に基づく類似度行列を構築し、スペクトルクラスタリングを実行する。
• 各モデルに対して $\ell_1$-正則化スパースコーディングを適用し、スパarsityを強制し、最終的な表現を個々の係数ベクトルの重み付き結合として形成する。
• スペクトルクラスタリングのための類似度行列を計算する際、行列積の絶対値 $|\mathbf{A}^T\mathbf{A}|$ または $|\bar{\mathbf{A}}| + |\bar{\mathbf{A}}^T|$ を用いる。

実験結果

リサーチクエスチョン

• RQ1 複数の弱いスパースモデルを組み合わせることで、単一の学習済み辞書を用いる場合よりも優れたデータ近似が達成可能か？
• RQ2 圧縮センシングおよび画像回復タスクにおいて、アンサンブルスパースモデルは従来の交互最適化（Alt-Opt）と比べてどのように性能を発揮するか？
• RQ3 最近の最先端手法と比較して、アンサンブルモデルは単一画像のスーパーレンダリングにおいても競争力のある性能を示せるか？
• RQ4 大規模データセットにおいて、$\ell_1$-ベースのグラフ手法と比較して、アンサンブルフレームワークはクラスタリング精度を向上させるとともに計算コストを低減できるか？
• RQ5 特に、アンサンブル内での最良個別モデルと比較して、アンサンブル性能に理論的保証は存在するか？

主な発見

• アンサンブルモデルは、画像回復およびクラスタリングの両タスクで個々のスパースモデルを常に上回り、理論的にも最良の構成モデルに劣ることのない保証が得られている。
• 圧縮センシング回復のタスクにおいて、提案手法のアンサンブル法は単一辞書を用いたベースラインAlt-Opt手法に比べて、より高い再構成精度を達成した。
• 単一画像のスーパーレンダリングにおいて、アンサンブルモデルは最近の最先端手法と同等の性能を示し、実用的有用性が明確に示された。
• 教師なしクラスタリングのタスクにおいて、BoostKMおよびBoostEx手法はUSPSデータセットで最高の正確性とNMIを達成し、BoostKMは90.96%の正確性と82.78のNMIを達成した。
• アンサンブル手法は計算時間を顕著に短縮した——特に高次元データにおいて顕著で、USPSデータセットでは$\ell_1$グラフ法の411.85秒からBoostKMで83.58秒にまで短縮された。
• RandExAvおよびBoostEx手法は、すべての標準データセットにおいて$\ell_1$グラフ法と同等またはそれ以上の性能を示し、多くのケースでNMIおよび正確性が向上した。