[论文解读] Multitask AET with Orthogonal Tangent Regularity for Dark Object Detection

Ziteng Cui, Guo-Jun Qi+4 more|arXiv (Cornell University)|May 6, 2022

Advanced Neural Network Applications被引用 15

一句话总结

本文提出多任务AET与正交切线正则化（MAET），一种自监督框架，通过联合解码低光照退化参数和目标检测输出，学习光照鲁棒表征。通过在参数流形上强制任务特定切向量正交，MAET 解耦了目标与退化特征，在 UG²+ DARK FACE 数据集上实现了 0.558 的最先进 mAP，并在无需预处理的情况下，在合成与真实世界暗光图像基准上表现出色。

ABSTRACT

Dark environment becomes a challenge for computer vision algorithms owing to insufficient photons and undesirable noise. To enhance object detection in a dark environment, we propose a novel multitask auto encoding transformation (MAET) model which is able to explore the intrinsic pattern behind illumination translation. In a self-supervision manner, the MAET learns the intrinsic visual structure by encoding and decoding the realistic illumination-degrading transformation considering the physical noise model and image signal processing (ISP). Based on this representation, we achieve the object detection task by decoding the bounding box coordinates and classes. To avoid the over-entanglement of two tasks, our MAET disentangles the object and degrading features by imposing an orthogonal tangent regularity. This forms a parametric manifold along which multitask predictions can be geometrically formulated by maximizing the orthogonality between the tangents along the outputs of respective tasks. Our framework can be implemented based on the mainstream object detection architecture and directly trained end-to-end using normal target detection datasets, such as VOC and COCO. We have achieved the state-of-the-art performance using synthetic and real-world datasets. Code is available at https://github.com/cuiziteng/MAET.

研究动机与目标

• 解决低光照条件下人类优化的图像增强与机器优化的目标检测之间的差距。
• 在统一框架下整合自监督表示学习与目标检测，建模物理光照退化过程。
• 缓解多任务训练中目标检测与图像恢复特征之间的过度纠缠。
• 开发一种可泛化的端到端可训练框架，兼容主流目标检测器（如 YOLOv3）。
• 利用合成与真实低光照数据，提升真实暗光环境下的鲁棒性。

提出的方法

• MAET 框架使用孪生编码器从成对的正常光照与低光照图像中提取共享特征。
• 通过专用解码器 $D_{\text{deg}}$ 执行自监督任务，解码低光照退化参数（如噪声水平、伽马值、白平衡）。
• 通过第二个解码器 $D_{\text{obj}}$ 执行目标检测，从共享特征中预测边界框与类别标签。
• 通过在参数流形上最大化两个任务输出切向量之间的正交性，强制实施正交切向量正则性。
• 使用标准检测数据集（如 COCO、VOC）进行端到端训练，无需预处理或真实增强标签。
• 该框架兼容主流检测器，可应用于 YOLOv3、YOLOv5 等架构。

实验结果

研究问题

• RQ1 统一框架能否联合学习低光照目标检测与退化参数重建的鲁棒视觉表征？
• RQ2 在多任务学习中，如何缓解目标检测与图像恢复特征之间的过度纠缠？
• RQ3 在任务特定输出流形上强制几何正交性是否能提升低光照检测的泛化能力？
• RQ4 基于物理 ISP 与传感器噪声的自监督退化模型能否提升真实暗光图像上的检测性能？
• RQ5 所提方法是否在合成与真实低光照基准上均优于增强先行与端到端检测方法？

主要发现

• 所提 MAET 在 UG²+ DARK FACE 数据集上实现了 0.558 的 mAP，优于所有对比方法，包括 Zero-DCE 与 KIND 增强 YOLO。
• 在 ExDark 数据集上，MAET 在大多数类别上均取得优异 mAP，证实其在真实世界低光照条件下的有效性。
• 采用正交切向量正则化的 MAET 模型（MAET w/ ort）达到 0.558 mAP，而无正则化的 MAET 为 0.542，证明了解耦的益处。
• 在 COCO 数据集上，MAET 显著优于基线 YOLOv3 与基于增强的方法（如 Lv 等、Zhang 等）在低光照检测中的表现。
• 该模型在无需预处理或真实增强标签的情况下，在合成与真实世界暗光图像数据集上均达到最先进性能。
• 消融研究证实，正交切向量正则性有效降低了特征纠缠，提升了检测鲁棒性。