[論文レビュー] Dynamic Scale Inference by Entropy Minimization

Dequan Wang, Evan Shelhamer+2 more|arXiv (Cornell University)|Aug 8, 2019

Advanced Image and Video Retrieval Techniques参考文献 44被引用数 6

ひとこと要約

本稿では、推論中に反復的・非教師あり最適化を適用することで、動的スケール推論におけるセマンティックセグメンテーションの性能を向上させる手法を提案する。タスクパラメータとスケールパラメータを同時に最適化し、予測エントロピーを最小化することで、1段階の推論に基づく動的推論よりも高い精度とより優れた一般化性能を達成する。特に極端なスケールシフトの下で顕著な向上が見られる。

ABSTRACT

Given the variety of the visual world there is not one true scale for recognition: objects may appear at drastically different sizes across the visual field. Rather than enumerate variations across filter channels or pyramid levels, dynamic models locally predict scale and adapt receptive fields accordingly. The degree of variation and diversity of inputs makes this a difficult task. Existing methods either learn a feedforward predictor, which is not itself totally immune to the scale variation it is meant to counter, or select scales by a fixed algorithm, which cannot learn from the given task and data. We extend dynamic scale inference from feedforward prediction to iterative optimization for further adaptivity. We propose a novel entropy minimization objective for inference and optimize over task and structure parameters to tune the model to each input. Optimization during inference improves semantic segmentation accuracy and generalizes better to extreme scale variations that cause feedforward dynamic inference to falter.

研究の動機と目的

• テスト時の極端なスケール変動に対処するためのフィードフォワード動的推論の限界を解消すること。
• 特にテスト入力が訓練データよりも著しく大きい場合に顕在する訓練時とテスト時のスケール間の一般化ギャップを克服すること。
• 訓練プロセスやアーキテクチャを変更せずに、推論時にモデルパラメータを適応的に調整する手法を開発すること。
• 最適化によるトップダウンフィードバックを導入することで、分布外のスケールシフトに対してもモデルのロバスト性と精度を向上させること。
• 推論時にモデルパラメータを反復的に最適化することで、1段階の予測に基づく動的適応を上回る性能を達成できることを示すこと。

提案手法

• 予測のエントロピーを最小化する非教師あり推論目的を提案し、信頼性の高い安定した出力を促進する。
• 推論時に2つのパラメータセットを最適化する：ピクセル分類用のタスクパラメータと、動的ガウス感受野の適応に用いる構造パラメータ。
• エントロピー目的関数に基づき、これらのパラメータに対して反復的な勾配更新を実行することで、入力ごとにトップダウンでモデルを精緻化する。
• 元のモデルアーキテクチャと訓練プロセスを維持し、最適化はテスト時のみに適用することで、入力ごとにカスタムモデルをチューニングする。
• スケール適応のベースに動的ガウス感受野モデルを採用し、画像内での局所的なスケール変動を許容する。
• 入力ごとの最適化ステップ数を可変化させることで、計算コストとモデル容量を分離する。

実験結果

リサーチクエスチョン

• RQ1 極端なスケールシフト下で、フィードフォワード動的推論を上回る一般化性能を反復的最適化が達成できるか？
• RQ2 非教師あり目的関数としてのエントロピー最小化は、分布外のスケール変動に対するロバスト性をどのように向上させるか？
• RQ3 推論時にタスクパラメータとスケールパラメータを同時に最適化する場合と、片方のみを最適化する場合とでは、性能にどのような差が生じるか？
• RQ4 訓練時とテスト時のスケールが一致するインダストリーデータにおいても、推論時最適化は予測をどの程度精緻化できるか？
• RQ5 達成可能な性能の上限を示すオラクルおよびアドバーサリーベースラインと比較して、本手法の性能はどの程度か？

主な発見

• PASCAL VOCデータセットにおいて、3×スケールテスト時、提案手法は62.3 mIoUを達成し、フィードフォワード動的ベースライン（59.8 mIoU）を著しく上回り、スケールシフトに対するロバスト性が向上している。
• インダストリーデータ（1×）テスト時、フィードフォワードベースライン（69.8）と比較して、提案手法はmIoUを約1ポイント向上（70.6）させ、分布内でも精緻化が行われていることを示している。
• アブレーション実験から、スコアパラメータとスケールパラメータの両方を最適化することで最高の性能が得られ、一方のみ最適化すると精度が低下することが判明した。
• 定性的な結果から、本手法は分布外スケール設定下でノイズが多く過剰にセグメンテーションされた領域や誤った負例を是正していることが示された。
• オラクル最適化は3×スケールで77.7 mIoUを達成しており、動的推論のさらなる向上が可能であることを示唆しているが、本手法はそのギャップを顕著に縮小している。
• アドバーサリーベースラインは、最適化による劣化のリスクがあるにもかかわらず、本手法が依然として有効であることを確認しており、最適化誘発劣化に対するロバスト性を裏付けている。