[論文レビュー] Learning Deep $\ell_0$ Encoders

Zhangyang Wang, Qing Ling+1 more|arXiv (Cornell University)|Sep 1, 2015

Sparse and Compressive Sensing Techniques参考文献 28被引用数 17

ひとこと要約

本稿では、反復的アルゴリズムを畳み込みニューラルネットワークに変換することで、ℓ₀スパース近似問題（ℓ₀正則化およびMスパース定式化の両方）をモデル化する新規なディープラーニングフレームワーク、Deep ℓ₀ Encodersを提案する。本手法では、新規なニューロン（HELUs）とプーリング関数を用い、タスク駆動損失関数を用いたエンドツーエンド学習を可能にし、画像分類およびクラスタリングにおいて最先端の性能を達成するとともに、一般化性能とスケーラビリティを向上させる強力な構造的事前知識を統合する。

ABSTRACT

Despite its nonconvex nature, $\ell_0$ sparse approximation is desirable in many theoretical and application cases. We study the $\ell_0$ sparse approximation problem with the tool of deep learning, by proposing Deep $\ell_0$ Encoders. Two typical forms, the $\ell_0$ regularized problem and the $M$-sparse problem, are investigated. Based on solid iterative algorithms, we model them as feed-forward neural networks, through introducing novel neurons and pooling functions. Enforcing such structural priors acts as an effective network regularization. The deep encoders also enjoy faster inference, larger learning capacity, and better scalability compared to conventional sparse coding solutions. Furthermore, under task-driven losses, the models can be conveniently optimized from end to end. Numerical results demonstrate the impressive performances of the proposed encoders.

研究の動機と目的

• ℓ₀スパース近似の非可解性に対処するため、反復的アルゴリズムをディープラーニングでモデル化する。
• 非可微分なℓ₀ノルムを近似する新規な神経素子を用いて、正確なスパース性またはℓ₀正則化を強制する微分可能でエンドツーエンドで学習可能なアーキテクチャを開発する。
• 従来のスパースコーディングやℓ₁ベースの手法と比較して、画像分類やクラスタリングなどのスパースコーディングタスクにおける性能とスケーラビリティを向上させる。
• 特に訓練データが限られた状況においても、正確なスパース性レベル（例：Mスパース）などの構造的事前知識をディープネットワークに原理的かつ効果的に統合する手法を提供する。

提案手法

• ℓ₀正則化問題は、非可微分なℓ₀ノルムを近似する新規なHELU（ハードスレッショーディング指数線形ユニット）ニューロンを用いて、深層フィードフォワードネットワークとしてモデル化される。
• Mスパース問題は、各層で正確にM個の非ゼロ活性化を強制する最大Mプーリングおよびアンプーリング機構により実装される。
• ネットワークアーキテクチャは、ℓ₀スパースコーディングの反復的アルゴリズムを、層間で重みを共有する固定深さのフィードフォワード構造にアンロールすることで導出される。
• 分類タスク用の交差エントロピー損失などのタスク固有の損失関数を用いてエンドツーエンドで学習され、辞書、スパース性、分類性能の共同最適化が可能になる。
• ℓ₀スパース性からの構造的事前知識がインダクティブバイアスとして埋め込まれ、一般化性能の向上と過学習の低減に効果的に寄与する。
• 本フレームワークは教師ありおよび自己教師あり学習をサポートしており、低データ環境下でも性能向上が観察される。

実験結果

リサーチクエスチョン

• RQ1 反復的アルゴリズムのアンロールを用いて、ℓ₀スパース近似を深層フィードフォワードネットワークとして効果的にモデル化できるか？
• RQ2 新規な神経素子を用いた正確なスパース性（Mスパース）またはℓ₀正則化は、ℓ₁ベースの近似と比較して、ディープラーニング環境下でどのように性能を発揮するか？
• RQ3 ℓ₀ベースのモデルのエンドツーエンド学習は、従来のスパースコーディング手法やディープラーニングベースラインと比較して、分類およびクラスタリングタスクで優れた性能を達成できるか？
• RQ4 構造的事前知識（例：正確なスパース性レベル）は、特に訓練データが限られた状況でモデル性能にどのように寄与するか？

主な発見

• MNISTデータセットにおいて、Deep ℓ₀正則化エンコーダーはp=512でテスト誤差率1.45%を達成し、ℓ₁ベースのLISTAネットワークを上回った。
• AVIRIS Indiana Pinesデータセットでは、M=10のDeep MスパースエンコーダーがM=30よりも1.5%低い誤差率を記録し、低データ条件下でよりタイトなスパース性事前知識が性能向上に寄与することを示唆した。
• COIL-20では、Deep Mスパース（M=10）エンコーダーがp=512で14.03%の最低誤差率を記録し、グラフ正則化クラスタリングベースラインを含む他の手法を上回った。
• CMU PIEでは、Deep ℓ₀正則化エンコーダーがp=512で15.41%の誤差率を達成し、すべてのMスパースバージョンを上回り、グラフ正則化なしでも最先端の手法と同等またはそれを上回った。
• 結果から、十分なデータが利用可能な場合には学習可能なスパース性（ℓ₀正則化エンコーダー）が望ましく、一方、データが限られた状況では正確なスパース性事前知識（Mスパース）がより効果的であると考えられる。