[論文レビュー] Blurring the Line Between Structure and Learning to Optimize and Adapt Receptive Fields

Evan Shelhamer, Dequan Wang+1 more|arXiv (Cornell University)|Apr 25, 2019

Remote Sensing and LiDAR Applications参考文献 45被引用数 20

ひとこと要約

本論文は、学習可能なガウスフィルタを用いて自由形式フィルタを合成し、受容 field のサイズ、形状、局所性をエンドツーエンドで最適化・適応化する準構造的フィルタリング手法を提案する。ガウス共分散パrameter に対して微分可能にすることで、効率的かつ微分可能な受容 field の探索が可能となり、Cityscapes において最大 10 ポints の性能向上を達成し、自由形式変形の精度に匹敵する一方で、パラメータ数を著しく削減し、効率性を向上させる。

ABSTRACT

The visual world is vast and varied, but its variations divide into structured and unstructured factors. We compose free-form filters and structured Gaussian filters, optimized end-to-end, to factorize deep representations and learn both local features and their degree of locality. Our semi-structured composition is strictly more expressive than free-form filtering, and changes in its structured parameters would require changes in free-form architecture. In effect this optimizes over receptive field size and shape, tuning locality to the data and task. Dynamic inference, in which the Gaussian structure varies with the input, adapts receptive field size to compensate for local scale variation. Optimizing receptive field size improves semantic segmentation accuracy on Cityscapes by 1-2 points for strong dilated and skip architectures and by up to 10 points for suboptimal designs. Adapting receptive fields by dynamic Gaussian structure further improves results, equaling the accuracy of free-form deformation while improving efficiency.

研究の動機と目的

• 構造的表現と自由形式表現学習のギャップを埋めるために、構造の効率性と学習の表現力の両方を組み合わせること。
• ガウスフィルタの微分可能なパrameter化を通じて、受容 field のサイズ、形状、局所性をエンドツーエンドで最適化すること。
• 固定された受容 field に依存するアーキテクチャの依存度を低減し、入力コンテンツに応じて応答する適応的・動的受容 field を学習すること。
• モデルの複雑性や計算コストを増加させることなく、セマンティックセグメンテーションの精度を向上させること。
• 構造的パラメータ化が自由形式変形の性能を再現しつつ、パラメータ数と計算コストを削減できることを示すこと。

提案手法

• 自由形式フィルタ $ f_{\theta} $ と構造的ガウスフィルタ $ g_{\Sigma} $ を畳み込み $ * $ によって合成し、両者の特徴を組み合わせた準構造的フィルタ族を構築する。このフィルタ族は、単体のいずれの成分よりも表現力が優れている。
• ガウスフィルタは共分散行列 $ \Sigma $ でパラメータ化され、低次元かつ微分可能な方法で受容 field のスケール、アスペクト比、方向性を制御する。
• $ \theta $ と $ \Sigma $ の共同最適化により、データから受容 field の性質が学習可能となり、手動で設計されたものではなくなる。
• 空間的位置ごとに $ \Sigma $ を回帰することで、動的推論を実現し、入力の局所的スケール変動に応じて受容 field を適応可能にする。
• 球状、対角、およびフル共分散のオプションを備えた、静的および動的ガウス構造をサポートし、自由度の異なる設定に対応する。
• スケール空間理論および信号処理の理論的裏付けにより、滑らかさを保証し、ガウスの固有の性質によりアリゼーションを回避する。

実験結果

リサーチクエスチョン

• RQ1 自由形式フィルタと構造的フィルタを組み合わせたハイブリッドフィルタリングフレームワークは、単体のフィルタよりも高い表現力を持つだろうか？
• RQ2 深層ネットワークにおいて、ガウスフィルタの微分可能なパラメータを用いて、受容 field のサイズと形状をどの程度最適化できるか？
• RQ3 ガウス共分散の動的適応は、局所的スケール変動を伴うタスク（例：セマンティックセグメンテーション）において性能向上をもたらすだろうか？
• RQ4 構造的パラメータ化は、自由形式変形の精度に匹敵しつつ、パラメータ数と計算コストを削減できるだろうか？
• RQ5 アーキテクチャ的な受容 field が最適でない場合、この手法はどのように性能を示すだろうか？

主な発見

• 学習可能なガウスパラメータによる受容 field サイズの最適化により、強力な拡張およびスキップ接続を持つアーキテクチャにおいて、Cityscapes でのセマンティックセグメンテーション精度が 1–2 ポイント向上した。
• 最適でないネットワーク設計においては、適切な受容 field サイズと形状を学習することで、最大 10 ポイントの精度向上を達成した。
• 1 つのスケールパラメータを用いた動的ガウス変形は、Cityscapes テストセットで 74.3% の mIoU を達成し、自由形式変形の 73.6% と同等の精度を示したが、はるかに少ないパラメータ数を要した。
• 球状共分散（1 つの自由度）のみを用いても、自由形式変形の精度にほぼ達した。これは、スケールモデリングそのものが主な性能向上要因であることを示唆している。
• この手法はアーキテクチャ的制約に強く、受容 field が短縮されたり、入力解像度が上昇しても、学習された共分散が有効な受容 field を拡大することで補償する。
• 合成は安定かつ汎用的である：恒等写像（変更なし）も学習可能であり、性能の低下は一切なく、常に精度を向上または維持する。