[論文レビュー] Deep Transform and Metric Learning Network: Wedding Deep Dictionary Learning and Neural Networks

Wen Tang, Émilie Chouzenoux+2 more|arXiv (Cornell University)|Feb 18, 2020

Anomaly Detection Techniques and Applications参考文献 43被引用数 8

ひとこと要約

本稿では、深層辞書学習（DDL）と再帰的ニューラルネットワーク（RNN）を統合することで、深層変換と学習されたメトリックを同時に学習する新しい深層ニューラルネットワーク、DeTraMe-Netを提案する。各DDL層を線形変換とRNNベースのQメトリック学習モジュールにモデル化することで、画像分類において最先端の性能を達成し、敵対的攻撃に対しても優れた耐性を示す。従来のDDLおよび一般化されたCNNよりも優れている。

ABSTRACT

On account of its many successes in inference tasks and denoising applications, Dictionary Learning (DL) and its related sparse optimization problems have garnered a lot of research interest. While most solutions have focused on single layer dictionaries, the improved recently proposed Deep DL (DDL) methods have also fallen short on a number of issues. We propose herein, a novel DDL approach where each DL layer can be formulated as a combination of one linear layer and a Recurrent Neural Network (RNN). The RNN is shown to flexibly account for the layer-associated and learned metric. Our proposed work unveils new insights into Neural Networks and DDL and provides a new, efficient and competitive approach to jointly learn a deep transform and a metric for inference applications. Extensive experiments are carried out to demonstrate that the proposed method can not only outperform existing DDL but also state-of-the-art generic CNNs.

研究の動機と目的

• 既存の深層辞書学習（DDL）手法の限界、特に識別力の不足と効率的な最適化の欠如に対処すること。
• 従来のDDLおよびスパースコーディングフレームワークにおける計算効率の低さと勾配伝播の問題を克服すること。
• 学習されたメトリックをRNNベースの反復的ソルバーに埋め込むことで、微分可能なプログラミングによる深層辞書学習の統合を図ること。
• 深層変換と適応的メトリックのエンドツーエンド学習を通じて、特徴表現と分類性能の向上を図ること。
• 深層層における構造的かつデータ駆動のメトリックを学習することで、敵対的摂動に対する耐性を高めること。

提案手法

• DeTraMe-Netの各層は、DDL問題を線形変換層と、学習されたメトリックをモデル化するRNNベースのQメトリック学習モジュールに分解する。
• RNNは、学習されたメトリックQに基づく非滑らかで非凸な最適化フレームワークからの近接作用素を用いて、反復的にスパースコーディング問題を解く。
• スパース性は、ℓ1ノルム、非負性、および二次正則化の複合ペナルティの近接作用素から導かれるシフトされたReLU活性化関数によって強制される。
• 線形層、RNN、メトリック部のパラメータを同時に最適化するバックプロパゲーションを用いて、エンドツーエンドでネットワークを訓練する。
• 標準的なReLU層をQメトリックReLUユニットに置き換えることで、DeTraMe-PlainNetやDeTraMe-ResNetなど、さまざまなアーキテクチャへの一般化が可能である。
• RNNを固定回数（例：2回）分展開することで、微分可能なプログラミングが可能となり、時間に沿った効率的なバックプロパゲーションが実現される。

実験結果

リサーチクエスチョン

• RQ1 分類性能の向上を図るため、深層変換とデータに適応したメトリックを同時に学習できる深層ニューラルネットワークアーキテクチャを設計できるか？
• RQ2 RNNを用いて、深層ネットワーク内での辞書学習における学習されたメトリックを効果的にモデル化・最適化できるか？
• RQ3 DDLにRNNベースのメトリック学習を統合することで、標準的なDDLおよび一般化されたCNNと比較して、画像分類性能が向上するか？
• RQ4 提案手法は、標準的な深層ネットワークよりも敵対的摂動に対して優れた耐性を示せるか？
• RQ5 従来の反復的手法（例：FISTA）と比較して、微分可能なRNNベースのソルバーは収束性および性能面で優れているか？

主な発見

• DeTraMe-Netは、画像分類ベンチマークにおいて、既存の深層辞書学習手法を上回り、優れた識別能力を示している。
• 標準的な画像分類データセットにおいて、最先端の性能を達成しており、一般化された畳み込みニューラルネットワーク（CNN）を上回っている。
• DeTraMe-Netは、敵対的攻撃に対して顕著に向上した耐性を示しており、学習されたメトリックが一般化性能を向上させていることが示唆される。
• アブレーションスタディにより、特に深層アーキテクチャにおいて、RNNベースのQメトリック学習の統合が性能向上に不可欠であることが確認された。
• 微分可能なRNN定式化により、DDLで一般的な問題（初期化の悪さ、勾配消失）を回避し、安定した訓練が可能になった。
• 理論的分析により、RNNベースの更新則が、最適なスパース表現への収束を保証するプリコンディショニング付き前向き・後向き分割法と同等であることが確認された。