[論文レビュー] Position, Padding and Predictions: A Deeper Look at Position Information in CNNs

Md Amirul Islam, Matthew Kowal+3 more|arXiv (Cornell University)|Jan 28, 2021

Advanced Neural Network Applications参考文献 71被引用数 41

ひとこと要約

この論文はCNNにおける絶対的位置情報のエンコード方法を調査し、ゼロパディングが位置エンコーディングを生むことを示し、境界効果を分析し、パディングとキャンバスの選択が分類やセマンティングなどの下流タスクに与える影響を実証します。

ABSTRACT

In contrast to fully connected networks, Convolutional Neural Networks (CNNs) achieve efficiency by learning weights associated with local filters with a finite spatial extent. An implication of this is that a filter may know what it is looking at, but not where it is positioned in the image. In this paper, we first test this hypothesis and reveal that a surprising degree of absolute position information is encoded in commonly used CNNs. We show that zero padding drives CNNs to encode position information in their internal representations, while a lack of padding precludes position encoding. This gives rise to deeper questions about the role of position information in CNNs: (i) What boundary heuristics enable optimal position encoding for downstream tasks?; (ii) Does position encoding affect the learning of semantic representations?; (iii) Does position encoding always improve performance? To provide answers, we perform the largest case study to date on the role that padding and border heuristics play in CNNs. We design novel tasks which allow us to quantify boundary effects as a function of the distance to the border. Numerous semantic objectives reveal the effect of the border on semantic representations. Finally, we demonstrate the implications of these findings on multiple real-world tasks to show that position information can both help or hurt performance.

研究の動機と目的

• CNNが絶対位置情報をエンコードするかを評価し、このエンコードを最大化するパディングタイプを特定する。
• 境界効果が学習表現と下流タスクの性能にどのように影響するかを検討する。
• キャンバス/背景の選択がパディングと相互作用して位置エンコーディングと意味的特徴をどのように形成するかを理解する。
• 境界に近い位置が学習と意思決定にどのように影響するかを示す位置ごとの分析を提供する。

提案手法

• 畳み込みエンコーダと簡易な位置エンコーディングモジュールを組み合わせて絶対位置マップを予測する Position Encoding Network (PosENet) を導入する。
• 勾配様のマップとガウス分布のグラウンドトゥルスマップを生成し、異なるCNNバックボーンが捉える位置情報を定量化する。
• ゼロパディング、リフレクション、リプリケート、サーキュラーなどのパディングタイプを比較し、それらが位置エンコーディングと下流タスクの性能に与える影響を分析する。
• 異なる色とグリッドサイズのキャンバス上に画像パッチを配置して、画像位置全体での境界効果を調べる位置依存実験を実施する。
• 異なるサイズのグリッド（k∈{3,5,7,9,11,13}）を用いた位置依存の画像分類とセグメンテーションを評価し、境界効果への頑健性を分析する。
• パディング設定間で公平な空間解像度を維持するために、ノーパディング実装とバイリニア補間を検討する。

実験結果

リサーチクエスチョン

• RQ1 ゼロパディングは他のパディングタイプと比べてCNNにおける絶対位置情報を最大化するか？
• RQ2 境界（ボーダー）効果は画像の位置全体で絶対位置情報とどのように相互作用するか？
• RQ3 絶対位置情報はタスクに応じて意味的学習を改善したり妨げたりするのか（例:分類とセグメンテーション）？
• RQ4 キャンバスの色とグリッドベースの配置が位置エンコーディングと下流性能にどう影響するか？
• RQ5 CNNの階層のどこに位置情報が格納され、パディングがこの分布にどう影響するか？

主な発見

• ゼロパディングは他のパディングタイプに比べて絶対位置情報を最大限エンコードする。
• 位置情報はCNNの深い層でより強くエンコードされ、上位層（VGG16のf5）でより大きな位置エンコーディングを示す。
• 境界近くのパディングが事前学習済みモデルの絶対位置シグナルの主な源であり、パディングを取り除くとこの情報は減少する。
• 一般的なパディングタイプの中でゼロパディングが最も強い位置情報を与え、サーキュラーがしばしば次点、リフレクションとリプリケートはより弱い信号を提供する。
• キャンバスの色（黒・白・平均）はパディングと相互作用して境界効果とタスク性能に影響し、ノーパディング設定では黒いキャンバスが堅牢性を高めることが多い。
• 位置依存実験は、境界効果が入力全体の性能に影響を及ぼすことを示し、パディングがこの効果を調整できる。
• 位置情報はタスク次第で有用な特徴にもバグにもなり得て、意味的セグメンテーションのような位置依存タスクを支援する一方、テクスチャ認識のような翻訳不変なタスクには悪影響になる可能性がある。