[論文レビュー] PE-YOLO: Pyramid Enhancement Network for Dark Object Detection

Xiangchen Yin, Zhenda Yu+3 more|arXiv (Cornell University)|Jul 20, 2023

Advanced Neural Network Applications被引用数 5

ひとこと要約

本稿では、YOLOv3にピラミッド強化ネットワーク（PENet）を統合することで、低照度条件下での物体検出性能を向上させるエンドツーエンドのダークオブジェクト検出フレームワーク、PE-YOLOを提案する。PENetはラプラシアンピラミッド分解、コンテキストおよびエッジブランチを備えた詳細処理モジュール（DPM）、低周波数強化フィルタ（LEF）を用い、詳細の回復とノイズ抑制を実現し、追加の教師信号を用いずにExDarkデータセットで78.0%のmAPと53.6 FPSを達成する。

ABSTRACT

Current object detection models have achieved good results on many benchmark datasets, detecting objects in dark conditions remains a large challenge. To address this issue, we propose a pyramid enhanced network (PENet) and joint it with YOLOv3 to build a dark object detection framework named PE-YOLO. Firstly, PENet decomposes the image into four components of different resolutions using the Laplacian pyramid. Specifically we propose a detail processing module (DPM) to enhance the detail of images, which consists of context branch and edge branch. In addition, we propose a low-frequency enhancement filter (LEF) to capture low-frequency semantics and prevent high-frequency noise. PE-YOLO adopts an end-to-end joint training approach and only uses normal detection loss to simplify the training process. We conduct experiments on the low-light object detection dataset ExDark to demonstrate the effectiveness of ours. The results indicate that compared with other dark detectors and low-light enhancement models, PE-YOLO achieves the advanced results, achieving 78.0% in mAP and 53.6 in FPS, respectively, which can adapt to object detection under different low-light conditions. The code is available at https://github.com/XiangchenYin/PE-YOLO.

研究の動機と目的

• 既存のモデルが画像品質の悪化により性能を発揮できない低照度条件下での頑健な物体検出の課題に対処すること。
• ペaired正例画像を必要とせず、軽量でエンドツーエンドで学習可能なフレームワークを構築し、低照度画像の強化を行うこと。
• 高周波数の詳細と低周波数の意味的特徴を両方捉えることで、暗いシーンにおける特徴表現を向上させること。
• 低照度物体検出において高い検出精度とリアルタイム推論速度を達成すること。

提案手法

• PENetはラプラシアンピラミッドを用いて入力画像を4つの解像度レベルに分解し、マルチスケール特徴強化を可能にする。
• 詳細処理モジュール（DPM）は、長距離依存性を捉えるコンテキストブランチと、テクスチャ詳細を強化するエッジブランチから構成される。
• 低周波数強化フィルタ（LEF）は、意味的豊かな低周波成分を抽出し、高周波数ノイズを抑制する動的ローパassフィルタを適用する。
• PE-YOLOは、標準的な検出損失のみを用いてPENetとYOLOv3を同時に学習させ、補助的监督を用いずにエンドツーエンド最適化を実現する。
• フレームワークは複数のピラミッドレベルで特徴を処理し、検出前に強化された表現を統合する。
• モデルは、ペアド正例画像を必要とせず、標準的なYOLOv3損失関数を用いてExDarkデータセット上でエンドツーエンドで学習される。

Figure 1: Example of dark object detection. In dark conditions PE-YOLO can recover more potential information of object to get better detection results.

実験結果

リサーチクエスチョン

• RQ1 マルチスケールのピラミッドベースの強化ネットワークは、低照度条件下での物体検出性能を向上させることができるか？
• RQ2 コンテキストブランチとエッジブランチを別々に持つ詳細処理モジュールは、低照度下でも画像の詳細回復にどの程度効果的か？
• RQ3 低周波数の意味的強化は、ノイズの増幅を伴わずに検出精度をどの程度向上させるか？
• RQ4 検出損失のみを用いたエンドツーエンド学習戦略が、ダークオブジェクト検出で最先端の性能を達成できるか？

主な発見

• PE-YOLOはExDarkデータセットで78.0%のmAPを達成し、YOLOv3、DENet、IAT-YOLO、および他の最先端のダーク検出器を上回る性能を示した。
• 53.6 FPSの推論速度を達成しており、追加の強化モジュールを備えても強力なリアルタイム推論能力を示している。
• アブレーションスタディの結果、コンテキストブランチ、エッジブランチ、LEFの各コンponentがmAPに段階的に寄与しており、フルモデルで78.0%に到達した。
• コンテキストブランチとエッジブランチを併用したDPMは、ベースラインのYOLOv3に比べてmAPを1.6ポイント向上させた。
• DPMのみに比べ、LEFコンponentを導入することでmAPが0.4ポイント向上し、意味的整合性の維持におけるその役割が確認された。
• 可視化比較では、PE-YOLOはMBLLENやZero-DCEに比べてノイズをより効果的に抑制しており、暗いシーンにおけるより正確な検出を実現している。

Figure 2: Overview of PE-YOLO. We use detail processing module (DPM) and low-frequency enhancement filter (LEF) to enhance the images.