[論文レビュー] Convolutional Analysis Operator Learning: Acceleration, Convergence, Application, and Neural Networks.

Il Yong Chun, Jeffrey A. Fessler|arXiv (Cornell University)|Feb 15, 2018

Sparse and Compressive Sensing Techniques被引用数 5

ひとこと要約

本稿では、収束を加速し、局所的手法のメモリ制限を克服するために、メジャライザーを用いた新規なブロックプロキシマル勾配法（BPG-M）を用いたグローバル畝込み作用素学習（CAOL）フレームワークを提案する。直交制約と多様性促進正則化項を導入し、スパースビューCTにおける優れた再構成品質を示し、畳み込みニューラルネットワーク（CNN）モジュールと数学的に同等であることを示す。

ABSTRACT

Convolutional operator learning is increasingly gaining attention in many signal processing and computer vision applications. Learning kernels has mostly relied on so-called local approaches that extract and store many overlapping patches across training signals. Due to memory demands, local approaches have limitations when learning kernels from large datasets -- particularly with multi-layered structures, e.g., convolutional neural network (CNN) -- and/or applying the learned kernels to high-dimensional signal recovery problems. The so-called global approach has been studied within the synthesis signal model, e.g., convolutional dictionary learning, overcoming the memory problems by careful algorithmic designs. This paper proposes a new convolutional analysis operator learning (CAOL) framework in the global approach, and develops a new convergent Block Proximal Gradient method using a Majorizer (BPG-M) to solve the corresponding block multi-nonconvex problems. To learn diverse filters within the CAOL framework, this paper introduces an orthogonality constraint that enforces a tight-frame (TF) filter condition, and a regularizer that promotes diversity between filters. Numerical experiments show that, for tight majorizers, BPG-M significantly accelerates the CAOL convergence rate compared to the state-of-the-art method, BPG. Numerical experiments for sparse-view computational tomography show that CAOL using TF filters significantly improves reconstruction quality compared to a conventional edge-preserving regularizer. Finally, this paper shows that CAOL can be useful to mathematically model a CNN, and the corresponding updates obtained via BPG-M coincide with core modules of the CNN.

研究の動機と目的

• 大規模または高次元データセットにスケーリングする際、局所的畝込み作用素学習におけるメモリボトルネックを解消すること。
• CAOLにおける非凸的・マルチブロック最適化のための従来のブロック反復手法における収束性およびスケーラビリティの問題を克服すること。
• スパースビューコンピュータトモグラフィーのような高次元逆問題における再構成品質を向上させること。
• 直交制約と正則化を用いて多様性のある構造的フィルタ学習を可能にし、表現能力を向上させること。
• 最適化更新の同等性を通じて、CAOLと畳み込みニューラルネットワーク（CNN）の間の数学的リンクを確立すること。

提案手法

• 局所的手法と比較して、パッチ抽出および保存を回避するグローバルCAOLフレームワークを提案し、メモリ使用量を削減する。
• 非凸的・ブロック構造最適化問題を解くためにメジャライザーを用いたブロックプロキシマル勾配法（BPG-M）を考案し、収束保証を達成する。
• 安定的かつ多様なフィルタ学習を保証するため、直交制約を介したタイトフレーム（TF）フィルタ条件を組み込む。
• 学習されたフィルタ間の多様性を明示的に促進する正則化項を導入し、表現力および再構成忠実度を向上させる。
• BPG-Mを用いて導出した更新則が、畳み込みや活性化モジュールなどのCNNのコア層と数学的に同等であることを示す。
• メジャライゼーション技術を用いて部分問題を凸化し、効率的かつ安定的な反復最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 グローバルCAOLフレームワークは、大規模な信号回復において、局所的手法よりもメモリ効率と収束速度で優れているか？
• RQ2 非凸的・マルチブロックCAOL問題において、BPG-M法は標準的なBPG法と比較してどのように収束を改善するか？
• RQ3 直交制約によるタイトフレーム条件の強制は、スパースビューCTにおける再構成品質をどの程度向上させるか？
• RQ4 多様性促進正則化を用いたCAOLは、多様な信号構造にわたって一般化性の高いフィルタを学習できるか？
• RQ5 提案されたCAOLフレームワークにおける最適化更新則は、標準的なCNNモジュールと数学的に一致するか？

主な発見

• タイトメジャライザーを用いる場合、BPG-MはCAOL最適化において、最先端のBPG法よりも顕著に高速な収束速度を達成する。
• タイトフレームフィルタを用いたCAOLは、従来のエッジ保持正則化子を上回る、スパースビューコンピュータトモグラフィーにおける再構成品質を向上させる。
• 直交制約および多様性制約下で学習されたフィルタは、表現能力および安定性が向上している。
• BPG-Mから導出された更新則は、畳み込み層や活性化層といった標準CNNのコアコンponentsと正確に一致する。
• 数値実験により、グローバルCAOLフレームワークが高次元信号回復タスクにおいても高い性能を維持することが確認された。
• メジャライゼーションとブロック最適化の統合により、非凸的・マルチブロック設定においても収束性が強固に保たれる。