[論文レビュー] Positional Normalization

Boyi Li, Felix Wu+2 more|arXiv (Cornell University)|Jul 9, 2019

Generative Adversarial Networks and Image Synthesis参考文献 69被引用数 8

ひとこと要約

本稿では、チャネル全体にわたって空間的位置ごとに活性化を独立して正規化する新しい正規化手法であるPositional Normalization (PONO) を導入する。PONOは学習された平均および標準偏差を介して構造的画像特徴を捉え、保存する。これらの統計量をMoment Shortcut (MS) 接続によって注入することにより、生成モデルの性能が向上し、一部の設定ではFIDスコアが最大40%低減され、訓練安定性も向上する。

ABSTRACT

A popular method to reduce the training time of deep neural networks is to normalize activations at each layer. Although various normalization schemes have been proposed, they all follow a common theme: normalize across spatial dimensions and discard the extracted statistics. In this paper, we propose an alternative normalization method that noticeably departs from this convention and normalizes exclusively across channels. We argue that the channel dimension is naturally appealing as it allows us to extract the first and second moments of features extracted at a particular image position. These moments capture structural information about the input image and extracted features, which opens a new avenue along which a network can benefit from feature normalization: Instead of disregarding the normalization constants, we propose to re-inject them into later layers to preserve or transfer structural information in generative networks. Codes are available at https://github.com/Boyiliee/PONO.

研究の動機と目的

• 訓練中に空間的に関連する統計的特徴を失う既存の正規化手法の制限を解消すること。
• 入力画像からの構造的情報を、学習された平均および標準偏差を介して生成ネットワークに再統合すること。
• 特に画像変換および合成タスクにおいて、生成モデルの性能と安定性を向上させること。
• 正規化統計量を破棄するのでなく、再利用して構造的事前知識として活用する、新しいパラダイムを提示すること。
• PONOがBatch Normalizationなどの既存の正規化技術と相補的であり、シームレスに統合可能であることを示すこと。

提案手法

• PONOは、チャネル次元にわたって各空間的位置ごとに活性化を独立して正規化し、位置ごとに平均μおよび標準偏差σを計算する。
• 従来の正規化とは異なり、PONOはμおよびσの一次および二次モーメント（構造的事前知識）を破棄せずに保持する。
• Moment Shortcut (MS) 接続により、初期層からのμおよびσが後続層に再注入され、構造的情報を保持する。
• PONOは、Batch Normalizationなどの既存の正規化手法と互換性を持たせ、併用可能であるように設計されている。
• 最小限のコードオーバーヘッドで実装可能であり、画像生成および変換に用いられるさまざまなアーキテクチャに適用可能である。
• 一部のモデル（例：MUNIT’）では、出力の直前に追加の残差型層を導入し、μおよびσの非線形変換をよりよくモデル化する。

実験結果

リサーチクエスチョン

• RQ1 初期層からのチャネル別統計量を保持・再利用することで、生成モデルの性能が向上するか？
• RQ2 PONOは、画像変換および合成タスクにおける訓練安定性と一般化性能を向上させるか？
• RQ3 PONOは、Batch Normalizationなどの既存の正規化技術と効果的に組み合わせられるか？
• RQ4 抽出されたμおよびσ値が、入力画像の意味的な構造的特徴をどれほど的確に捉えているか？
• RQ5 Moment Shortcut接続は、ベースラインモデルと比較してFIDおよび知覚的メトリクスを顕著に改善するか？

主な発見

• Cat→Dog変換タスクにおいて、PONO-MSはFIDを245.0から159.4に低減し、35%の改善を達成。LPIPSコンテンツ誤差は30%低下。
• Portrait→Photoタスクでは、DRITではFIDが104.5から99.5に、MUNITでは149.6から125.1に低下し、一貫した向上を示した。
• MUNIT’ + PONO-MSは、MUNIT’単体と比較してFIDを65%低減し、μおよびσ処理用の1つの残差層を追加することで恩恵を得たことを示した。
• DRITではわずかな向上、MUNITでは顕著な向上を示したため、モデルアーキテクチャおよび能力に依存する感度があると考えられる。
• 複数のデータセットおよびアーキテクチャにおいて、FIDおよび知覚的メトリクス（LPIPS）が両方向上し、画像品質および構造的忠実度が向上した。
• PONO-MSは訓練安定性を向上させ、構造的特徴とスタイル特徴の分離をより良く実現した。これは、インスタンス正規化がスタイルを処理するのと同様の効果であった。