[論文レビュー] Multiscale Adaptive Representation of Signals: I. The Basic Framework

Cheng Tai, E Weinan|arXiv (Cornell University)|Jul 17, 2015

Image and Signal Denoising Methods参考文献 38被引用数 16

ひとこと要約

この論文では、辞書学習のデータ適応性とウェーブレットフレームの計算効率およびマルチスケール構造を組み合わせた、マルチスケールの適応的フレームフレームワークAdaFrameを提案する。畳み込み型アーキテクチャにおける学習可能なフィルタを用いることで、高速で逆変換可能かつスパースな信号表現を実現し、低レベル（例：ノイズ除去、圧縮）および高レベル（例：特徴抽出）の両方のタスクに適している。従来の辞書学習に比べて推論速度が優れており、古典的ウェーブレットに比べても優れた符号化効率を維持している。

ABSTRACT

We introduce a framework for designing multi-scale, adaptive, shift-invariant frames and bi-frames for representing signals. The new framework, called AdaFrame, improves over dictionary learning-based techniques in terms of computational efficiency at inference time. It improves classical multi-scale basis such as wavelet frames in terms of coding efficiency. It provides an attractive alternative to dictionary learning-based techniques for low level signal processing tasks, such as compression and denoising, as well as high level tasks, such as feature extraction for object recognition. Connections with deep convolutional networks are also discussed. In particular, the proposed framework reveals a drawback in the commonly used approach for visualizing the activations of the intermediate layers in convolutional networks, and suggests a natural alternative.

研究の動機と目的

• 大規模応用におけるリアルタイム展開を制限する、推論時における辞書学習の計算非効率性を解消すること。
• 小スケールのパッチでのみ動作する標準的な辞書学習手法に見られるマルチスケール表現の欠如を克服すること。
• パッチベースの辞書学習で一般的なブロックアーティファクトを解消し、グローバルでシフト不変の信号表現を可能にすること。
• 学習された辞書のスパarsityと適応性を保持しながら、ウェーブレットのようなアナリティカル変換の速度と構造を達成するフレームワークを開発すること。
• 機械学習における低レベル信号処理および高レベル特徴抽出の両方において、辞書学習のより効率的で頑健な代替手段を提供すること。

提案手法

• 畳み込み型構造における学習可能な分解および再構成フィルタを用いた、マルチスケールでシフト不変なフレーム構築法を提案する。
• 学習可能なフィルタを用いた畳み込み操作の系列として表現を定式化し、ウェーブレットに類似した高速推論を実現する。
• 分解フィルタと再構成フィルタを別々に学習する二段階の学習手順を採用することで、安定性と収束性を向上させる。
• 周波数ドメインにおけるフィルタ応答に制約を課すことにより、完全再構成を実現し、フレームがタイトまたはデュアルタイトであることを保証する。
• フィルタバンクおよびサンプリング理論（一般化サンプリング定理を介して）の数学的構造を活用し、正確な再構成のための条件を導出する。
• 1次元および2次元信号（画像を含む）に適用可能であり、ディープラーニングアーキテクチャとも相性が良いことを示す。

実験結果

リサーチクエスチョン

• RQ1 学習可能なフレームは、ウェーブレット変換の計算効率を達成しながらも、辞書学習のデータ適応性を維持できるか？
• RQ2 学習可能なフィルタを用いて、再構成精度を損なわずにマルチスケールでシフト不変かつ逆変換可能な表現をどのように構築できるか？
• RQ3 提案されたAdaFrameフレームワークと、ディープ畳み込みネットワークの中間層活性化との関係は何か？
• RQ4 提案されたフレームワークは、辞書学習で一般的なパッチベースの信号表現におけるブロックアーティファクトを解消できるか？
• RQ5 符号化効率および頑健性の観点で、AdaFrameは辞書学習およびウェーブレットフレームに比べてどのように性能を発揮するか？

主な発見

• AdaFrameは、長さNの信号に対してO(N)の計算量で推論を実行でき、従来の辞書学習のO(mN)に比べて高速である。
• フィルタ周波数応答に制約を課すことにより、完全再構成が可能となり、表現が逆変換可能で安定することが保証される。
• 特に高い冗長性を持つ設定においても、適応的バイフレームは適応的フレームよりも訓練が容易でより頑健であることが示された。
• 本研究では、畳み込みニューラルネットワークにおける活性化の可視化の標準的手法に根本的な欠陥が存在することを明らかにした。これにより、フレーム理論的解釈に基づくより自然な代替手法が提案された。
• AdaFrameは、符号化効率において従来の辞書学習を上回り、パッチングアーティファクトを回避するため、画像圧縮やノイズ除去に適している。
• フレームワークは画像に限らず、時系列データ、動画、さらにはグラフ構造データにも一般化可能であり、リアルタイムオブジェクト認識システムへの応用が期待できる。