[論文レビュー] Learning on the Edge: Explicit Boundary Handling in CNNs

Carlo Innamorati, Tobias Ritschel+2 more|arXiv (Cornell University)|May 8, 2018

Advanced Neural Network Applications参考文献 8被引用数 15

ひとこと要約

この論文では、ゼロパディングやリフレクトパディングなどのヒューリスティックなパディング手法に代わり、畳み込みニューラルネットワーク（CNN）における明示的な境界フィルタの学習を提案し、画像エッジにおける特徴品質の向上を図る。タスク固有の境界フィルタを学習させることで、特徴を自然に外挿する。この手法により、色再現、デベイヤリング、オプティカルフロー、視差推定の各タスクで5–20%の性能向上が達成され、実行時オーバーヘッドは一切ない。

ABSTRACT

Convolutional neural networks (CNNs) handle the case where filters extend beyond the image boundary using several heuristics, such as zero, repeat or mean padding. These schemes are applied in an ad-hoc fashion and, being weakly related to the image content and oblivious of the target task, result in low output quality at the boundary. In this paper, we propose a simple and effective improvement that learns the boundary handling itself. At training-time, the network is provided with a separate set of explicit boundary filters. At testing-time, we use these filters which have learned to extrapolate features at the boundary in an optimal way for the specific task. Our extensive evaluation, over a wide range of architectural changes (variations of layers, feature channels, or both), shows how the explicit filters result in improved boundary handling. Consequently, we demonstrate an improvement of 5% to 20% across the board of typical CNN applications (colorization, de-Bayering, optical flow, and disparity estimation).

研究の動機と目的

• ゼロパディング、リフレクトパディング、平均パディングなどのヒューリスティックなパディングによって引き起こされる、CNNにおける画像境界付近の特徴品質の低さを解消すること。
• 不一致な外挿に起因する、エッジだけでなく画像内部でも特徴品質を低下させる境界アーチファクトを低減すること。
• 固定ルールに依存するのではなく、画像コンテンツとタスク固有のコンテキストを尊重する最適な境界外挿を学習できるように、CNNに学習可能である境界外挿を可能にすること。
• 追加の推論コストなしに、既存のCNNアーキテクチャに境界処理をシームレスに統合すること。
• エンコーダ・デコーダネットワークを含む、多様なCNNアプリケーションとアーキテクチャにわたる一貫した性能向上を実証すること。

提案手法

• 画像境界に適用される際、標準的な畳み込みフィルタの代わりに学習された境界フィルタのセットを導入すること。
• 主ネットワークと同じ損失関数を用いて、バックプロパゲーション中に標準フィルタと同時に境界フィルタを学習すること。
• 各境界状態（例：上端、左下コーナー）に対して別個の境界フィルタを定義し、コンテキストに応じた外挿を可能にすること。
• すべての境界ケースを効率的に処理するため、トレーニング段階でドメイン分割を用い、実行時パフォーマンスへのペナルティを回避すること。
• 内部領域では標準的な畳み込み演算を維持し、エッジでのみ学習された境界フィルタに切り替えること。
• 境界フィルタが非境界フィルタと整合した特徴マップを出力することで、特徴の連続性を保持すること。

実験結果

リサーチクエスチョン

• RQ1 CNNは、固定ヒューリスティクスに依存するのではなく、タスク固有に最適な方法で境界における画像特徴の外挿を学習できるか？
• RQ2 境界フィルタの学習は、境界付近だけでなく、画像内部の特徴品質の向上にも寄与するか？
• RQ3 標準的なパディング手法と比較して、学習された境界フィルタを導入する際のトレーニングおよび推論のオーバーヘッドはどの程度か？
• RQ4 クロッピングやスライディングウィンドウ推論と比較して、性能と効率の面で本手法は優れているか？
• RQ5 本手法は、マルチスケールまたはエンコーダ・デコーダ構造を有するさまざまなアーキテクチャやタスクに一般化可能か？

主な発見

• 提案手法は、色再現、デベイヤリング、オプティカルフロー、視差推定など、複数のCNNタスクで5–20%の性能向上を達成した。
• 学習されたフィルタによる境界処理は、エッジ部だけでなく内部領域の誤差も低減しており、境界アーチファクトが内部にまで拡散されることを示している。
• 境界フィルタは推論時のみに適用され、事前に学習済みであるため、前方伝搬毎の追加計算がなく、実行時オーバーヘッドは一切ない。
• 収束速度は標準的なゼロパディングと同等であり、トレーニング時間や最適化の難易度に顕著な増加は見られなかった。
• 特にエッジの連続性を保ち、誤検出を低減する点で、ゼロ、リフレクト、クラムプなどの従来の境界ルールを上回った。
• 境界効果が影響を及ぼすピクセル数が指数関数的に増加する深層またはマルチリゾリューションネットワークに対しても、本手法はスケーラブルかつ有効である。