[論文レビュー] Task-Driven Super Resolution: Object Detection in Low-resolution Images

Muhammad Haris, Greg Shakhnarovich+1 more|arXiv (Cornell University)|Mar 30, 2018

Advanced Image Processing Techniques被引用数 71

ひとこと要約

この論文は、SRの学習 objective に検出損失を追加することで、オブジェクト検出を同時に最適化する超解像ネットワークを訓練し、エンドツーエンドの最適化を実現して従来の SR 手法を超える低解像度画像の検出を改善します。

ABSTRACT

We consider how image super resolution (SR) can contribute to an object detection task in low-resolution images. Intuitively, SR gives a positive impact on the object detection task. While several previous works demonstrated that this intuition is correct, SR and detector are optimized independently in these works. This paper proposes a novel framework to train a deep neural network where the SR sub-network explicitly incorporates a detection loss in its training objective, via a tradeoff with a traditional detection loss. This end-to-end training procedure allows us to train SR preprocessing for any differentiable detector. We demonstrate that our task-driven SR consistently and significantly improves accuracy of an object detector on low-resolution images for a variety of conditions and scaling factors.

研究の動機と目的

• 低解像度画像における物体検出の改善をSRを通じて動機づけ、SRと検出器が別々に訓練されるというギャップに対処する。
• 再構成損失に加えて検出損失で最適化される SR を含むエンドツーエンドのフレームワークを提案する。
• 様々なスケーリングおよび劣化条件下で、タスク駆動型 SR が検出精度を向上させることを示す。
• 異なる SR スケールにわたる堅牢性を示し、標準ベンチマークでの実験によって検証する。

提案手法

• DBPN を SR バックボーンとして用い、低解像度入力をアップサンプルする。
• 検出可能な微分可能なタスク損失を提供する固定のオブジェクトディテクターとして SSD を用いる。
• L = alpha * L_rec + beta * L_task のような複合損失を定義し、SR モジュールを通じて逆伝播させる。
• タスク損失の勾配を S を通して逆伝播させ、検出に有利な出力を SR が生成するようにする。
• 再構成のみの事前訓練、バランスの取れたトレードオフ、漸進的/タスクのみの微調整を含む学習スケジュールを探索する。

実験結果

リサーチクエスチョン

• RQ1 オブジェクト検出からの微分可能なタスク損失が SR を導いて低解像度入力の検出を改善することができるか？
• RQ2 再構成損失とタスク関連損失をどのようにバランスさせて検出性能を最大化しつつ画像品質の低下を過度に防ぐべきか？
• RQ3 タスク駆動型 SR 手法は様々な劣化シナリオ（例: 4x および 8x のアップサンプリング、ぼかし、ノイズ）において従来の SR および非タスク駆動のベースラインより優れているか？

主な発見

• タスク駆動型 SR は、従来の SR 手法やベースラインと比較して低解像度入力でオブジェクト検出器の精度を一貫して向上させる。
• 再構成と検出損失のバランスを取ると、PSNR が低くても検出性能を高められることがあり、感覚的な画像品質とタスク性能の整合性のずれを示している。
• 中程度のタスク重視のトレードオフ（例: 小さな beta）は、PSNR の損失が許容範囲内で mAP の著しい向上をもたらすことが多い一方、純粋なタスクのみまたは純粋な再構成重視の戦略は劣る。
• ぼかしやノイズなどの追加的な劣化がある場合でも本手法は有効であり、これらのシナリオでは非タスク駆動の SR 手法よりも優れることがある。