[論文レビュー] HLA-Face: Joint High-Low Adaptation for Low Light Face Detection

Wenjing Wang, Wenhan Yang+1 more|arXiv (Cornell University)|Apr 5, 2021

Face recognition and analysis被引用数 5

ひとこと要約

HLA-Faceは、暗い顔のアノテーションを必要とせず、低照度顔検出のための統合的ハイ・ロー適応フレームワークを提案する。ピクセルレベルでの低照度および通常照度画像の双方向的適応と、特徴のアライメントにマルチタスク自己教師付き学習を用いることで、DARK FACEで44.4%のSOTA mAPを達成し、暗いデータに依存する手法を上回る性能を発揮する。

ABSTRACT

Face detection in low light scenarios is challenging but vital to many practical applications, e.g., surveillance video, autonomous driving at night. Most existing face detectors heavily rely on extensive annotations, while collecting data is time-consuming and laborious. To reduce the burden of building new datasets for low light conditions, we make full use of existing normal light data and explore how to adapt face detectors from normal light to low light. The challenge of this task is that the gap between normal and low light is too huge and complex for both pixel-level and object-level. Therefore, most existing low-light enhancement and adaptation methods do not achieve desirable performance. To address the issue, we propose a joint High-Low Adaptation (HLA) framework. Through a bidirectional low-level adaptation and multi-task high-level adaptation scheme, our HLA-Face outperforms state-of-the-art methods even without using dark face labels for training. Our project is publicly available at https://daooshee.github.io/HLA-Face-Website/

研究の動機と目的

• 高価な暗い顔のアノテーションに依存せずに、低照度顔検出の課題に対処すること。
• 通常照度と低照度画像の間の大きなドメインギャップ（ピクセルレベルおよび意味レベル）を解消すること。
• 自己教師付き適応を用いて、低照度環境下での顔検出器の汎化性とロバスト性を向上させること。
• 既存の通常照度データセットを活用して低照度環境への展開に適したスケーラブルなフレームワークを開発すること。

提案手法

• 低照度と通常照度画像の間で双方向的な低レベル適応を提案：低照度画像の強化と、通常照度画像へのノイズおよび色バイアスの付加による中間ドメインの生成。
• ジグソーと回転の事前学習タスクを用いたマルチタスク自己教師付き学習スキームを導入し、ドメイン間での特徴アライメントを実現。
• 中間ドメインと実際の低照度特徴の間の特徴距離を最小化するため、クロスドメインの対照的学習を採用。
• 強力な顔検出バックボーン（DSFD）に、中間ドメインから得た強化された特徴を組み合わせることで、検出性能を向上。
• 推論時にピラミッドマルチスケールテストを適用するが、本手法はそれなしでも有効である。
• 疑似ラベル付けと対照的学習を「ソフト」な監視として活用し、手動アノテーションなしで特徴を精緻化。

実験結果

リサーチクエスチョン

• RQ1 暗い顔のデータにアノテーションを用いずに、低照度条件下での顔検出を改善できるか？
• RQ2 通常照度と低照度画像の間の大きなピクセルレベルおよび意味レベルのドメインギャップを効果的に埋め合わせられるか？
• RQ3 ハイレベルとローレベルの適応を統合することで、単一モードの適応や強化処理よりも優れた性能が得られるか？
• RQ4 ラベルが存在しない状況でも、自己教師付き学習がドメイン間で特徴を効果的にアライメントできるか？
• RQ5 低照度顔検出において、低レベルの強化とハイレベルの特徴適応の相対的寄与度はどの程度か？

主な発見

• HLA-FaceはDARK FACEベンチマークで44.4%のmAPを達成し、暗い顔データのアノテーションを用いるSOTA手法を上回る。
• 本手法は、DARK FACEのラベルを一切使用しないにもかかわらず、ベースラインのDSFDと比較してmAPが29ポイント以上も向上。
• 双方向的低レベル適応とクロスドメイン対照的学習の組み合わせが最高のmAPを達成し、相乗効果が確認された。
• ジグソー事前学習タスクは中間ドメインで99.3%のトップ1精度を達成し、効果的な特徴学習が示された。
• 対照的学習は疑似ラベル付けを上回る性能を示し、ノイズの多い手動ラベルよりも「ソフト」な監視がよりロバストであることが示唆された。
• ピラミッドマルチスケールテストを適用しなくても、弱いベースラインでmAPが41.4%に留まり、本手法の有効性が保証された。