[論文レビュー] Multi-Scale Denoising in the Feature Space for Low-Light Instance Segmentation

Joanne Lin, Nantheera Anantrasirichai+1 more|arXiv (Cornell University)|Feb 28, 2024

Image Processing Techniques and Applications被引用数 4

ひとこと要約

本論文は、Mask R-CNN の特徴抽出器に重み付き非局所（NL）ブロックを統合することで、前処理やアラインされた教師画像を必要とせずに、内在的な特徴レベルのノイズ除去を可能にするエンドツーエンド手法を提案する。この手法は、事前学習済みの Mask R-CNN よりも +10.0 AP の向上を達成し、重み付き NL ブロックを追加することでさらに +1.0 AP の向上を示し、実際の低照度条件下での小さな物体やノイズの多い物体における性能を顕著に向上させる。

ABSTRACT

Instance segmentation for low-light imagery remains largely unexplored due to the challenges imposed by such conditions, for example shot noise due to low photon count, color distortions and reduced contrast. In this paper, we propose an end-to-end solution to address this challenging task. Our proposed method implements weighted non-local blocks (wNLB) in the feature extractor. This integration enables an inherent denoising process at the feature level. As a result, our method eliminates the need for aligned ground truth images during training, thus supporting training on real-world low-light datasets. We introduce additional learnable weights at each layer in order to enhance the network's adaptability to real-world noise characteristics, which affect different feature scales in different ways. Experimental results on several object detectors show that the proposed method outperforms the pretrained networks with an Average Precision (AP) improvement of at least +7.6, with the introduction of wNLB further enhancing AP by upto +1.3.

研究の動機と目的

• 実世界の低照度 sRGB 画像におけるロバストなインスタンスセグメンテーション手法の不足に取り組むこと。低照度画像はノイズ、低コントラスト、色の歪みを伴う。
• 低照度画像増幅（LLIE）などの前処理手順を排除し、学習中に特徴を内蔵的にノイズ除去できるようにすること。
• 低照度条件下で特にノイズに脆弱な小さな物体の性能を向上させること。
• 特徴マップのスケールごとのノイズ特性に適応できるように、NL ブロック内の可学習重みを統合し、異なるスケール間での一般化を図ること。
• ペアド正規光画像を必要とせず、COCO からシミュレートした合成低照度データ上で効果的に学習可能であり、実世界のデータセットを活用できるようにすること。

提案手法

• Mask R-CNN のバックボーンに重み付き非局所（NL）ブロックを統合し、特徴抽出段階で特徴レベルのノイズ除去を実現する。
• 空間的およびチャネル次元で変動するノイズを適応的に抑制できるように、各特徴スケールごとに可学習重みを有する変更済み NL 操作を採用する。
• NL ブロック内に埋め込みガウス類似度関数を用いて、注目メカニズムに類似した重みを計算し、特徴表現のロバスト性を向上させる。
• COCO から低光子数と照度低下をシミュレートして生成した合成低照度データセット上で、エンドツーエンドにモデルを学習する。
• 直接的な前処理を回避し、特徴を直接的にノイズ除去できるように学習することで、実際の低照度 sRGB 画像に対して直接推論が可能になる。
• 小規模な物体の空間的詳細を保持するため、FPN を用いたマルチスケール特徴統合戦略を採用する。

(a)

実験結果

リサーチクエスチョン

• RQ1 LLIE メソッドによる前処理に依存せずに、深層学習モデルが低照度条件下でロバストなインスタンスセグメンテーションを達成できるか？
• RQ2 重み付き非局所ブロックを用いた特徴レベルのノイズ除去は、低照度画像におけるインスタンスセグメンテーション性能の向上にどの程度効果的か？
• RQ3 NL ブロックに可学習重みを統合することで、特徴マップのスケール固有のノイズ特性への適応性が向上するか？
• RQ4 LLIE を実行した後、インスタンスセグメンテーションを実行する二段階パイプラインと比較して、本手法の精度とロバスト性はどの程度優れているか？
• RQ5 低照度条件下でノイズに最も影響を受ける小規模な物体における性能向上は、どの程度顕著か？

主な発見

• 本手法は、合成低照度データ上で学習した場合、標準的な事前学習済み Mask R-CNN よりも +10.0 AP の向上を達成する。
• 重み付き NL ブロックの追加により、さらに +1.0 AP の向上が得られ、ノイズ抑制と特徴の精錬に有効であることが示された。
• 最先端の LLIE モデル（例：RetinexFormer、Zero-DCE++）を用いた二段階アプローチよりも優れた性能を示し、増幅画像におけるノイズ増幅を回避した。
• テストされたバリエーションの中で、埋め込みガウス型の NL ブロックが最も優れた性能を示し、16.6 AP を達成した。これは自己注意メカニズムのおかげと考えられる。
• AP_S、AP_M、AP_L のすべての AP メトリクスで一貫した向上が確認され、小規模・中規模・大規模な物体の両方において、より高いロバスト性を示した。
• 可視化結果から、本手法は、ベースラインモデルが失敗するような高ノイズ環境下でも、小さな物体（例：遠くの小さな牛）を正しくセグメンテーションできることを確認した。

(b)