[논문 리뷰] Multitask AET with Orthogonal Tangent Regularity for Dark Object Detection

Ziteng Cui, Guo-Jun Qi외 4명|arXiv (Cornell University)|2022. 05. 06.

Advanced Neural Network Applications인용 수 15

한 줄 요약

이 논문은 다중 작업 AET와 수직 탄성 정규화(MAET)를 제안하며, 저조도 복원 매개변수와 객체 검출 출력을 동시에 복원함으로써 조명에 강건한 표현을 학습하는 자기지도 학습 프레임워크이다. 매개변수화된 다양체 상에서 작업별 탄성 벡터 간의 수직성을 강제함으로써 MAET는 객체 및 복원 특징를 분리하여 UG²+ DARK FACE 데이터셋에서 최신 기술 수준(mAP 0.558)을 달성하고, 사전 처리 없이도 합성 및 실세계 저조도 이미지 벤치마크에서 뛰어난 성능을 발휘한다.

ABSTRACT

Dark environment becomes a challenge for computer vision algorithms owing to insufficient photons and undesirable noise. To enhance object detection in a dark environment, we propose a novel multitask auto encoding transformation (MAET) model which is able to explore the intrinsic pattern behind illumination translation. In a self-supervision manner, the MAET learns the intrinsic visual structure by encoding and decoding the realistic illumination-degrading transformation considering the physical noise model and image signal processing (ISP). Based on this representation, we achieve the object detection task by decoding the bounding box coordinates and classes. To avoid the over-entanglement of two tasks, our MAET disentangles the object and degrading features by imposing an orthogonal tangent regularity. This forms a parametric manifold along which multitask predictions can be geometrically formulated by maximizing the orthogonality between the tangents along the outputs of respective tasks. Our framework can be implemented based on the mainstream object detection architecture and directly trained end-to-end using normal target detection datasets, such as VOC and COCO. We have achieved the state-of-the-art performance using synthetic and real-world datasets. Code is available at https://github.com/cuiziteng/MAET.

연구 동기 및 목표

• 저조도 조건에서 인간 최적화된 영상 강화와 기계 최적화된 객체 검출 간 격차를 해소하기 위해.
• 물리적 조명 복원을 모델링하는 단일 프레임워크 내에서 자기지도 표현 학습과 객체 검출을 통합하기 위해.
• 다중 작업 학습에서 객체 검출 및 영상 복원 특징 간의 과도한 엉키움을 완화하기 위해.
• 주류 객체 검출기(YOLOv3 등)와 호환되는 일반화 가능하고 엔드 투 엔드로 훈련 가능한 프레임워크를 개발하기 위해.
• 합성 및 실세계 저조도 데이터를 활용하여 실제 어두운 환경에서의 강건성을 향상시키기 위해.

제안 방법

• MAET 프레임워크는 쌍체의 정상 조도 및 저조도 이미지에서 공유 특징을 추출하기 위해 사이아미 에너드를 사용한다.
• 특정 디코더 $D_{\text{deg}}$ 를 사용한 자기지도 작업을 통해 저조도 복원 매개변수(예: 노이즈 수준, 감마, 화이트 밸런스)를 복원한다.
• 공유 특징에서 바운딩 박스와 클래스 레이블을 예측하는 두 번째 디코더 $D_{\text{obj}}$ 를 통해 객체 검출을 수행한다.
• 매개변수화된 다양체 상에서 두 작업 출력의 탄성 벡터 간 수직성을 최대화함으로써 수직 탄성 정규화를 강제한다.
• 표준 검출 데이터셋(COCO, VOC 등)을 사용해 엔드 투 엔드로 훈련하며, 사전 처리나 진짜 강화 데이터가 필요하지 않다.
• 주류 검출기와 호환되며, YOLOv3, YOLOv5 및 기타 아키텍처에 적용할 수 있다.

실험 결과

연구 질문

• RQ1 통합 프레임워크를 통해 저조도 객체 검출과 복원 매개변수 재구성에 대한 강건한 시각적 표현을 동시에 학습시킬 수 있는가?
• RQ2 다중 작업 학습에서 객체 검출 및 영상 복원 특징 간의 과도한 엉킴을 어떻게 완화할 수 있는가?
• RQ3 작업별 출력 다样的체 상에서 기하학적 수직성을 강제하면 저조도 검출에서 일반화 성능이 향상되는가?
• RQ4 물리적 ISP 및 센서 노이즈를 기반으로 한 자기지도 복원 모델이 실세계 저조도 이미지에서 검출 성능을 향상시킬 수 있는가?
• RQ5 제안된 방법이 합성 및 실세계 저조도 벤치마크에서 모두 강화 후 처리 및 엔드 투 엔드 검출 접근법을 초월하는가?

주요 결과

• 제안된 MAET는 UG²+ DARK FACE 데이터셋에서 mAP 0.558을 달성하여 Zero-DCE 및 KIND 향상 YOLO를 포함한 모든 비교 방법을 능가했다.
• ExDark 데이터셋에서 MAET는 대부분의 카테고리에서 뛰어난 mAP를 기록하여 실세계 저조도 조건에서의 효과성을 확인했다.
• 수직 탄성 정규화를 적용한 MAET 모델(MAET w/ ort)은 0.558 mAP를 기록한 반면, 정규화 없이 학습한 MAET는 0.542 mAP를 기록하여 분리의 유용성을 입증했다.
• COCO 데이터셋에서 MAET는 저조도 검출에서 베이스라인 YOLOv3 및 강화 기반 방법(Lv 등, Zhang 등)을 뚜렷이 능가했다.
• 사전 처리나 진짜 강화 데이터가 필요 없이도 합성 및 실세계 저조도 이미지 데이터셋에서 최신 기술 수준의 성능을 달성했다.
• 제거 실험을 통해 수직 탄성 정규화가 특징 엉킴을 효과적으로 감소시키고 검출 강건성을 향상시킨다는 것이 확인되었다.