[論文レビュー] A Simple Fix for Convolutional Neural Network via Coordinate Embedding

Liliang Ren, Zhuonan Hao|arXiv (Cornell University)|Mar 24, 2020

Advanced Neural Network Applications参考文献 6被引用数 5

ひとこと要約

本論文は、入力画像に追加される正規化されたxおよびy座標埋め込みを学習することで、畳み込みニューラルネットワークに空間座標情報を効果的に組み込むシンプルでパラメータ効率の良い手法である座標埋め込み（CoordEmb）を提案する。この手法により、アフィン変換に対するモデルの頑健性が向上し、ネットワークアーキテクチャを変更せず、再訓練を始めから行わずにGTSDBベンチマークでmAPが2.47%向上する。

ABSTRACT

Convolutional Neural Networks (CNN) has been widely applied in the realm of computer vision. However, given the fact that CNN models are translation invariant, they are not aware of the coordinate information of each pixel. Thus the generalization ability of CNN will be limited since the coordinate information is crucial for a model to learn affine transformations which directly operate on the coordinate of each pixel. In this project, we proposed a simple approach to incorporate the coordinate information to the CNN model through coordinate embedding. Our approach does not change the downstream model architecture and can be easily applied to the pre-trained models for the task like object detection. Our experiments on the German Traffic Sign Detection Benchmark show that our approach not only significantly improve the model performance but also have better robustness with respect to the affine transformation.

研究の動機と目的

• 畳み込みニューラルネットワーク（CNN）の平行移動不変性によるアフィン変換処理の限界を解消すること。
• 実世界の状況における小形・端縁に局在する物体の一般化性能と検出性能を向上させること。
• 事前学習済みモデルのアーキテクチャを保持したまま座標情報を組み込む手法を開発すること。
• 視点のずれや物体の再配置などの座標に基づく歪みに対して頑健性を高めること。
• アーキテクチャの変更なしに、既存の物体検出パイプラインに座標に敏感な特徴を容易に統合できること。

提案手法

• サイズH×W×1の2つの学習可能な正規化座標埋め込み行列XおよびYを導入する。
• 最初の畳み込み層の前に入力画像テンソルI ∈ ℝ^{H×W×C}の各チャネルに座標埋め込みを加える。
• 元のモデルアーキテクチャを保持したまま、標準の畳み込み層をそのままで使用する。
• 標準的な最適化法（例：RMSprop）を用いて、座標埋め込みをネットワーク全体と同時にエンドツーエンドで学習する。
• GTSDBデータセットで微調整することで、Inception V2バックボーンを搭載したSSDのような事前学習済みモデルにこの手法を適用する。
• 正規化と学習可能なパラメータのおかげで、埋め込みが空間的に意識的かつスケール不変になるように保証する。

実験結果

リサーチクエスチョン

• RQ1 CNNに座標情報を組み込むことで、アフィン歪みを伴う物体検出タスクの性能が向上するか？
• RQ2 座標埋め込みのようなシンプルで侵襲的でない手法が、小形または端縁に局在する物体の検出において、標準CNNを上回る性能を発揮するか？
• RQ3 モデルアーキテクチャを変更せずに、座標埋め込みがどの程度空間変換に対して頑健性を高められるか？
• RQ4 この手法は、再訓練を始めから行わずに、事前学習済みモデルに効果的に適用できるか？
• RQ5 より複雑な代替手法（例：CoordConv）と比較して、実世界の検出シナリオにおいて座標埋め込みの性能はどのように差がつくか？

主な発見

• CoordEmbを適用したSSD Inception V2モデルは、GTSDBテストセットでmAPが2.47%絶対的に向上（0.2041から0.2288に）した。
• 特に画像端縁に位置する小形・中形の交通標識の検出性能が顕著に向上した。
• vanilla CNNと比較して、距離にいる速度制限標識などの限界的な標識の信頼度スコアが最大5%向上した。
• vanillaモデルが失敗するアフィン歪みを伴う画像に対しても、モデルは高い信頼性（93%および55%の信頼度）を維持した。
• 推論遅延やモデル複雑性を増加させることなく、視点歪みに対する頑健性が向上した。
• Liuらのベンチマークタスクを用いた実験で、回帰や分類といった座標に基づくタスクにおいても、一般化性能が向上したことが示された。