[論文レビュー] Learning with Nested Scene Modeling and Cooperative Architecture Search for Low-Light Vision

Risheng Liu, Long Ma+3 more|arXiv (Cornell University)|Dec 9, 2021

Visual Attention and Saliency Detection被引用数 9

ひとこと要約

本論文は、リチネックスにインspiredされたアンローリングを用いたネストされたシーンモデリングと協調的微分可能アーキテクチャ探索を統合する一般化学習フレームワークRUASを提案する。非教師ありでシーンエネルギー制約付きの定式化により、シーンアーキテクチャとタスクアーキテクチャを共同最適化することで、低照度画像増強、物体検出、セマンティックセグメンテーションの分野で、計算コストを低減しつつ最先端の性能を達成する。

ABSTRACT

Images captured from low-light scenes often suffer from severe degradations, including low visibility, color cast and intensive noises, etc. These factors not only affect image qualities, but also degrade the performance of downstream Low-Light Vision (LLV) applications. A variety of deep learning methods have been proposed to enhance the visual quality of low-light images. However, these approaches mostly rely on significant architecture engineering to obtain proper low-light models and often suffer from high computational burden. Furthermore, it is still challenging to extend these enhancement techniques to handle other LLVs. To partially address above issues, we establish Retinex-inspired Unrolling with Architecture Search (RUAS), a general learning framework, which not only can address low-light enhancement task, but also has the flexibility to handle other more challenging downstream vision applications. Specifically, we first establish a nested optimization formulation, together with an unrolling strategy, to explore underlying principles of a series of LLV tasks. Furthermore, we construct a differentiable strategy to cooperatively search specific scene and task architectures for RUAS. Last but not least, we demonstrate how to apply RUAS for both low- and high-level LLV applications (e.g., enhancement, detection and segmentation). Extensive experiments verify the flexibility, effectiveness, and efficiency of RUAS.

研究の動機と目的

• 既存の低照度ビジョン手法が手動によるアーキテクチャ設計に大きく依存しており、タスク間で一般化できないという限界を是正すること。
• 多様な低照度ビジョン応用に適した、シーンモデリングとタスク固有のアーキテクチャを共同で最適化できる統合フレームワークを開発すること。
• 低レベルおよびハイレベルのビジョンタスクにおける低照度条件での性能を維持または向上させつつ、計算負荷を軽減すること。
• 低照度増強を、物体検出やセマンティックセグメンテーションのような下流の認識タスクに効果的に転送できることを可能にすること。

提案手法

• 内在的なシーン特性をモデル化するため、低照度ビジョンをシーンエネルギー制約付き学習問題として定式化する。
• 照明とリフレクタンス成分を捉えることができる微分可能訓練目的を導出するため、リチネックスにインspiredされたアンローリング戦略を導入する。
• 実世界のペアデータを必要としない非教師ありのシーン指向損失を導入し、訓練をガイドする。
• シーンモデリングとタスク固有モジュールの両方の最適なネットワークアーキテクチャを共同で探索するため、協調的微分可能アーキテクチャ探索（CDAS）を提案する。
• 内側のループでモデルを訓練し、外側のループで勾配ベース最適化によりアーキテクチャ探索を実行する二段階最適化フレームワークを採用する。
• 共有されたシーンモデリングを用いて、低レベル（増強）およびハイレベル（検出、セグメンテーション）ビジョンタスクの両方へ学習されたRUASフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 統合学習フレームワークは、多様なビジョンタスクにわたり、低照度シーンの特性を効果的にモデル化できるか？
• RQ2 シーンモデリングとタスク固有のアーキテクチャをどのように共同最適化することで、低照度ビジョンにおける性能と効率を向上させられるか？
• RQ3 ペアデータなしの自己教師ありでシーン指向の損失は、低照度条件下での一般化をどの程度向上させられるか？
• RQ4 手動設計に比べ、協調的アーキテクチャ探索はより効率的かつ効果的なモデルをもたらすか？

主な発見

• ACDCデータセットにおける低照度セマンティックセグメンテーションでは、RUASがmIoUで最高を記録し、増強＋セグメンテーションパイプラインやDANNetなどの最先端手法を上回った。
• ExDarkデータセットでは、RUASが優れた物体検出性能を示し、特に視認性が低くノイズの多い条件下でも、競合手法よりも多くの物体を正確に検出できた。
• DARK FACEデータセットにおける物体検出では、増強画像上で検出器を再訓練した後も、RUASが最高の平均精度と再現率を達成した。
• 複雑なシーンで照明が悪い状況でも、RUASはベースラインと比較してセグメンテーションマップのアーチファクトを顕著に低減した。
• LOLデータセットにおける低照度画像増強では、RUASが最先端の性能を達成し、視覚的品質が向上し、ノイズも低減された。
• 協調的アーキテクチャ探索戦略により、より効率的なモデルが得られ、FLOPsが低く抑えられつつ、大規模な手動設計ネットワークの性能を維持または上回った。