[論文レビュー] Pixel-Adaptive Convolutional Neural Networks

Hang Su, Varun Jampani+4 more|arXiv (Cornell University)|Apr 10, 2019

Advanced Neural Network Applications参考文献 48被引用数 20

ひとこと要約

本稿では、学習可能または事前定義されたピクセル特徴に基づいて空間的に変化するカーネルをフィルタ重みに要素ごとに乗算することで、標準畳み込みを内容に適応させるピクセル適応畳み込み（PAC）を提案する。PACは標準畳み込み、バイラテラルフィルタリング、プーリングを一般化し、共同画像アップサンプリングにおいて最先端の性能を達成するとともに、パrameter や推論コストを増加させないシンプルなレイヤーハイパーチェンジ戦略を可能にし、セマンティックセグメンテーションの精度を2 mIoU向上させる。

ABSTRACT

Convolutions are the fundamental building block of CNNs. The fact that their weights are spatially shared is one of the main reasons for their widespread use, but it also is a major limitation, as it makes convolutions content agnostic. We propose a pixel-adaptive convolution (PAC) operation, a simple yet effective modification of standard convolutions, in which the filter weights are multiplied with a spatially-varying kernel that depends on learnable, local pixel features. PAC is a generalization of several popular filtering techniques and thus can be used for a wide range of use cases. Specifically, we demonstrate state-of-the-art performance when PAC is used for deep joint image upsampling. PAC also offers an effective alternative to fully-connected CRF (Full-CRF), called PAC-CRF, which performs competitively, while being considerably faster. In addition, we also demonstrate that PAC can be used as a drop-in replacement for convolution layers in pre-trained networks, resulting in consistent performance improvements.

研究の動機と目的

• 空間的に共有され、コンテンツに無関係な標準畳み込みの限界を克服し、フィルタが局所的な画像コンテンツに適応できるようにすること。
• 標準畳み込みの一般化を実現し、バイラテラルフィルタリングやプーリングを含む複数のフィルタリング手法を統合すること。
• パrameter を維持したまま、既存の事前学習済みネットワークにおけるパフォーマンス向上を可能にするシンプルな、パrameter を保全するレイヤーハイパーチェンジ技術を開発すること。
• 完全結合CRF（Full-CRF）の効率的代替として、競争力のある性能と高速な推論を実現すること。

提案手法

• PACは、固定されたフィルタ重みと、局所的ピクセル特徴 f に依存する空間的に変化する適応カーネル K を要素ごとに乗算することで、標準畳み込みを変更する。
• 適応カーネルは、特徴類似度の関数として計算され、例えばガウスカーネル：exp(-1/2 ||f_i - f_j||²) のように表される。ここで f_i と f_j はピクセル i と j の d 次元特徴である。
• 適応特徴 f は事前定義されたもの（例：色、位置）またはCNNにより学習可能であり、畳み込みフィルタの空間的変調を計算するために使用される。
• PACは、元の重みを保持したまま、前処理済みネットワークの標準畳み込みレイヤーに簡単に差し替え可能な形で適用可能であり、前方伝搬のみを変更する。
• 共同アップサンプリングにおける逆畳み込み（トランスポーズ畳み込み）では、PACの変種が使用され、中間特徴の学習可能でガイドされたアップサンプリングを可能にする。
• PAC-CRFは、境界の忠実度が向上する効率的なCRF推論を実現する、Full-CRFの高速代替として導入された。

実験結果

リサーチクエスチョン

• RQ1 標準畳み込みへのシンプルな修正によって、パrameter 効率を保ちながらコンテンツ適応型フィルタリングを実現できるか？
• RQ2 PACは、バイラテルルフィルタリングやプーリングといった既存のフィルタリング操作をどのように一般化するか？
• RQ3 PACは、モデルサイズを増加させずに、事前学習済みネットワークにそのまま差し替え可能で、パフォーマンス向上を実現できるか？
• RQ4 PAC-CRFは、Full-CRFと同等の性能を達成しながら、著しく高速化できるか？
• RQ5 PACは、特に深度推定や光流場予測のための共同画像アップサンプリングタスクにおいて、性能向上をもたらすか？

主な発見

• PACは、深度推定および光流場予測タスクにおける共同画像アップサンプリングにおいて、最先端の性能を達成した。
• Pascal VOC 2011テストセットにおいて、PACによるレイヤーハイパーチェンジにより、セマンティックセグメンテーションのmIoUが2.0向上（67.20 → 69.18）し、パrameter や実行時間の増加なしに実現された。
• PAC-CRF（16-64バージョン）と組み合わせると、mIoUはさらに71.34に向上し、後処理による相乗効果が示された。
• PAC-CRFはFull-CRFと同等の性能を達成しながら、推論時間を短縮し、リアルタイム応用に実用的な代替手段となった。
• この手法は、標準畳み込み、バイラテラルフィルタリング、プーリングの一般化を示し、視覚タスク全体に広範な適用可能性を示した。
• PACレイヤーの適応特徴として、初期層の特徴（例：CONV2_2）を使用することで、最小限の計算コストで効果的なコンテンツ適応が可能となった。