[論文レビュー] Convolutional Bipartite Attractor Networks

Michael L. Iuzzolino, Yoram Singer+1 more|arXiv (Cornell University)|Jun 8, 2019

Advanced Image Processing Techniques参考文献 46被引用数 6

ひとこと要約

本稿では、画像の穴埋め補完および超解像のためのエネルギー最小化ダイナミクスを活用する、新しい畝込み型二部的再帰的アーキテクチャである畝込み型二部的アトラクタネットワーク（CBANs）を提案する。独自の訓練損失関数、新しい活性化関数、重み縛り接続を組み合わせることで、CBANsは画像補完タスクで最先端の性能を達成し、超解像タスクでも競争力のある結果を示す。視覚的品質（SSIM）においてベースラインを上回りながら、計算効率を維持している。

ABSTRACT

In human perception and cognition, a fundamental operation that brains perform is interpretation: constructing coherent neural states from noisy, incomplete, and intrinsically ambiguous evidence. The problem of interpretation is well matched to an early and often overlooked architecture, the attractor network---a recurrent neural net that performs constraint satisfaction, imputation of missing features, and clean up of noisy data via energy minimization dynamics. We revisit attractor nets in light of modern deep learning methods and propose a convolutional bipartite architecture with a novel training loss, activation function, and connectivity constraints. We tackle larger problems than have been previously explored with attractor nets and demonstrate their potential for image completion and super-resolution. We argue that this architecture is better motivated than ever-deeper feedforward models and is a viable alternative to more costly sampling-based generative methods on a range of supervised and unsupervised tasks.

研究の動機と目的

• 従来のアトラクタネットワークが複雑で高次元の視覚的データを処理する際の限界を克服するため、現代のディーブラーニング技術を統合すること。
• 古典的ヘブ学習の制約を超えて、隠れユニットおよび深層アーキテクチャを有するアトラクタネットワークの有効な訓練を可能にすること。
• アトラクタネットワークが、教師ありおよび教師なしの画像タスクにおいて、ディープフィードフォワードモデルやサンプリングベースの生成モデルの実用的で効率的な代替手段として機能できることを示すこと。
• 動的計算負荷を伴う制約満たし問題（例：画像の穴埋め補完や超解像）を解くために、アトラクタダイナミクスの可能性を検討すること。

提案手法

• 可視層と隠れ層が別々に配置された二部的アーキテクチャを提案し、活性化値を交互に更新することでアトラクタダイナミクスを模倣する。
• 再構成出力と正例とのエネルギー差を最小化する訓練損失関数を導入し、一貫した解釈への収束を促進する。
• 安定した訓練を可能にするとともに、不完全またはノイズの多い入力を繰り返し精錬できるようにする、独自の活性化関数を採用する。
• 前向き接続と後向き接続の間で重みを縛り（W = W^T）、エネルギーベースのダイナミクスを保証するとともに、訓練を簡素化する。
• 空間階層性を維持し、並進不変性処理を可能にするために、層間で平均プーリングと畝込みフィルタを適用する。
• 可視ユニットと隠れユニットを交互に更新する二段階更新スケジュールを採用し、反復的制約満たしを模倣する。

実験結果

リサーチクエスチョン

• RQ1 アトラクタネットワークは、画像補完や超解像といった大規模で現代的なビジョンタスクに効果的にスケーリング可能か？
• RQ2 現代の訓練技術を用いた畝込み型二部的アトラクタアーキテクチャは、標準的なフィードフォワードモデルや生成モデルに比べ、視覚的品質と効率性の面で優れているか？
• RQ3 サンプリングや推論時の反復的精錬を必要としない、深層畝込みネットワークにおけるエネルギーベースのダイナミクスが、画像修復タスクで競争力のある性能を達成できるか？
• RQ4 提案された訓練損失関数および活性化関数は、隠れユニットを有するアトラクタネットワークの収束性と安定性をどのように向上させるか？

主な発見

• CBANsは、CIFAR-10 や Omniglot といった挑戦的なデータセットにおいても、ベースラインモデルを上回る高い SSIM スコアを達成し、画像補完タスクで優れた視覚的品質を実現した。
• Set5 における2倍超解像タスクでは、PSNR が 34.18、SSIM が 0.947 を達成し、バイキュービックベースラインを上回り、多数の最先端モデルと同等またはそれを上回る SSIM を達成した。
• 再構成画像において、鋭いエッジと一貫性のあるテクスチャが得られており、効果的な制約満たしとパターン補完が行われていることが示された。
• CD-VAE や CBAN-noTD よりも一貫して優れた性能を示し、提案された訓練損失および重み縛りアーキテクチャの重要性を裏付けた。
• 重みの転置制約を欠いた CBAN-asym は、しばしばアーチファクトや極限循環を生じさせ、安定した補完のためには重み縛り設計が不可欠であることを示した。
• CBANs の訓練コストは、深層フィードフォワードネットワークと同等であり、実世界の応用において実用的である可能性を示唆している。