[論文レビュー] Are Deep Neural Architectures Losing Information? Invertibility Is Indispensable

Yang Liu, Zhenyue Qin+3 more|arXiv (Cornell University)|Sep 7, 2020

Image and Signal Denoising Methods参考文献 30被引用数 4

ひとこと要約

この論文は、深層ニューラルアーキテクチャにおける情報損失を調査し、特徴変換中に情報の保存を確保するためには可逆性が不可欠であると主張する。著者らは、学習可能で微分可能な逆写像を用いることで可逆性を保証する、新しいアーキテクチャを提案し、U-Netなどの競合モデルと比較して顕著に少ないパラメータで、画像のノイズ除去およびインpaintingタスクで最先端の性能を達成した。

ABSTRACT

Ever since the advent of AlexNet, designing novel deep neural architectures for different tasks has consistently been a productive research direction. Despite the exceptional performance of various architectures in practice, we study a theoretical question: what is the condition for deep neural architectures to preserve all the information of the input data? Identifying the information lossless condition for deep neural architectures is important, because tasks such as image restoration require keep the detailed information of the input data as much as possible. Using the definition of mutual information, we show that: a deep neural architecture can preserve maximum details about the given data if and only if the architecture is invertible. We verify the advantages of our Invertible Restoring Autoencoder (IRAE) network by comparing it with competitive models on three perturbed image restoration tasks: image denoising, jpeg image decompression and image inpainting. Experimental results show that IRAE consistently outperforms non-invertible ones. Our model even contains far fewer parameters. Thus, it may be worthwhile to try replacing standard components of deep neural architectures, such as residual blocks and ReLU, with their invertible counterparts. We believe our work provides a unique perspective and direction for future deep learning research.

研究の動機と目的

• 深層ニューラルネットワークが特徴変換の過程で不可逆的な情報損失を被るかどうかを調査すること。
• 非可逆的アーキテクチャが、特にノイズ除去およびインpaintingタスクにおける画像修復性能に与える影響を評価すること。
• 可逆性が、より少ないパラメータで効率的かつ効果的な学習を可能にすることを示すこと。
• 深層学習モデルに可逆的コンponentsを組み込むことの理論的および実証的根拠を提供すること。
• ネットワークが内部表現から入力を再構築できることを保証することで、低レベルビジョンタスクの性能を向上させること。

提案手法

• 学習可能で微分可能な逆写像を用いることで可逆性を保証する深層ニューラルアーキテクチャを提案する。
• 訓練中にL1損失を目的関数として採用し、これは低レベル画像修復タスクで広く用いられている。
• U-Net（7.70×10⁶）と比較して、パラメータ数を大幅に削減した（1.33×10⁶）ネットワークを設計したが、高い性能を維持した。
• 復元品質の評価に主にPSNRとSSIMを用い、さまざまなノイズおよび圧縮レベルでの性能を評価した。
• 境界ボックス（例：オレンジ色のボックス）を用いて視覚的アーティファクトを検出することで、DnCNNなどのベースラインモデルにおける再構築誤差を強調した。
• レビュアーのフィードバックに基づき、モデルアーキテクチャおよびキャプションを改訂し、結果の明確さと完全性を向上させた。

実験結果

リサーチクエスチョン

• RQ1 非可逆的深層ニューラルネットワークは、特徴符号化の過程でどの程度の情報を損失するのか？
• RQ2 ネットワークアーキテクチャに可逆性を強制することで、画像修復タスクの性能が向上するか？
• RQ3 パrameter効率性および性能の観点から、提案された可逆的アーキテクチャは、U-Netのような非可逆的モデルと比べてどう異なるか？
• RQ4 さまざまなノイズおよび圧縮レベル下での再構築品質に、可逆性がどのように影響するか？
• RQ5 可逆ネットワークは、標準的なアーキテクチャと比較して顕著に少ないパラメータで、競争力のある結果を達成できるか？

主な発見

• 提案された可逆的アーキテクチャは、全テスト圧縮品質要因において、画像のノイズ除去で最高のPSNRを達成した。
• 圧縮要因10の場合、U-Netとほぼ同等のSSIMを達成したが、PSNRが高く、より優れたノイズ除去性能を示した。
• モデルはたった1.33×10⁶のパラメータで運用されており、U-Netの7.70×10⁶と比べて顕著に少ないため、高いパラメータ効率性を示した。
• 視覚的分析から、DnCNNは顕著なアーティファクト（例：色のブロック）を生成しており、図版を改訂した際にオレンジ色の境界ボックスで明確にマークされた。
• 著者らは、L1損失が評価の目的ではなく、訓練の目的として使用されていることを確認した。評価はPSNRやSSIMといった標準的な指標を用いて実施された。
• 最終版では、追加のモデル（[35], [33], [18]）との比較および表2の結果に関する議論の拡張が行われる予定である。