[論文レビュー] Self-adversarial Multi-scale Contrastive Learning for Semantic Segmentation of Thermal Facial Images

Jitesh Joshi, Nadia Bianchi‐Berthouze+1 more|arXiv (Cornell University)|Sep 21, 2022

Face recognition and analysis被引用数 4

ひとこと要約

本稿では、自己対抗的マルチスケール対照学習（SAM-CL）フレームワークを提案し、熱画像における顔のセマンティックセグメンテーションを向上させる。本手法は、独自のSAM-CL損失とドメイン特化型の熱画像増幅（TiAug）モジュールを組み合わせており、閉じた環境や実世界の制約のある状況においても、限られた熱画像データセット上での一貫した性能向上を達成する。特に、遮蔽や環境変動に対する耐性が向上する。

ABSTRACT

Segmentation of thermal facial images is a challenging task. This is because facial features often lack salience due to high-dynamic thermal range scenes and occlusion issues. Limited availability of datasets from unconstrained settings further limits the use of the state-of-the-art segmentation networks, loss functions and learning strategies which have been built and validated for RGB images. To address the challenge, we propose Self-Adversarial Multi-scale Contrastive Learning (SAM-CL) framework as a new training strategy for thermal image segmentation. SAM-CL framework consists of a SAM-CL loss function and a thermal image augmentation (TiAug) module as a domain-specific augmentation technique. We use the Thermal-Face-Database to demonstrate effectiveness of our approach. Experiments conducted on the existing segmentation networks (UNET, Attention-UNET, DeepLabV3 and HRNetv2) evidence the consistent performance gains from the SAM-CL framework. Furthermore, we present a qualitative analysis with UBComfort and DeepBreath datasets to discuss how our proposed methods perform in handling unconstrained situations.

研究の動機と目的

• 低特徴強調性、遮蔽、限られたデータセットの可用性に起因する熱顔画像におけるセマンティックセグメンテーションの課題に対処すること。
• RGBベースのデータ増幅法や損失関数の限界を克服すること。これらは熱画像の物理的特性が異なるため、熱画像には不適切である。
• 限られたデータで、制約のない実世界の熱画像認識シナリオにおいて一般化性能と耐性を向上させる訓練戦略を開発すること。
• 実際の熱画像の変動、遮蔽、カメラノイズを模倣するドメイン特化型の増幅モジュール（TiAug）を設計すること。
• クラス入れ替えマスクから得られる合成されたネガティブサンプルを活用することで、特徴の識別能を向上させる自己対抗的対照損失（SAM-CL）を導入すること。

提案手法

• クラス入れ替えラベルマスクからのロジットを用いて予測を比較することで、特徴の識別を促進する自己対抗的マルチスケール対照学習（SAM-CL）損失を提案する。
• 環境温度の調整、眼鏡や髪の毛による遮蔽のモデル化、カメラノイズの組み込みにより、現実の熱画像条件を模倣する熱画像増幅（TiAug）モジュールを設計する。
• 制御されたラボ環境の熱画像をTiAugで変換し、実世界のデータ収集を必要とせずに、現実的で多様な変種を生成する。
• UNet、Attention-UNet、DeepLabV3、HRNetv2などのセグメンテーションネットワークを、SAM-CL損失とTiAugを併用して同時に学習させ、耐性と一般化性能を向上させる。
• 異なる受容場のレベルで対照学習の目的関数を強化するために、マルチスケール特徴表現を活用する。
• 予測ロジットとクラス入れ替えマスクから得られる合成ネガティブサンプルの重複を活用し、誤った予測に対して損失を増加させることで、対抗的耐性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 限られた学習データで、自己対抗的対照学習フレームワークが熱顔画像におけるセマンティックセグメンテーション性能を向上させることができるか？
• RQ2 本稿で提案するTiAugモジュールは、実世界のデータ収集を一切行わずに、現実の熱画像変動や遮蔽を効果的に模倣できるか？
• RQ3 TiAugと組み合わせたSAM-CL損失は、多様なセグメンテーションネットワークや制約のない実世界シナリオにおいて一般化性能を向上させるか？
• RQ4 本フレームワークは、熱画像における前額の髪の毛や眼鏡による遮蔽を、最先端手法を上回る程度に効果的に処理できるか？
• RQ5 増幅部と損失部を適応させることで、本SAM-CLフレームワークは、データが限られる他の画像モダリティに対しても一般化可能か？

主な発見

• SAM-CLフレームワークは、Thermal-Face-Database上でUNet、Attention-UNet、DeepLabV3、HRNetv2といった複数のアーキテクチャにおいて一貫したセグメンテーション性能の向上を達成した。
• TiAugモジュールは、環境温度の変化、遮蔽、カメラノイズを含む現実の熱画像変動を効果的に模倣し、モデルの一般化性能を向上させた。
• 定性的な分析から、SAM-CLで学習したモデルは、前額の髪の毛による遮蔽、眼鏡、低解像度の熱画像処理において、最先端のモデルを上回る性能を示した。
• モバイル熱カメラで収集されたDeepBreathデータセットでも、SAM-CLで学習したモデルは高い性能を維持しており、異なるカメラ仕様間での頑健性を示した。
• TiAugと組み合わせたSAM-CL損失により、極端な温度変動や複雑な遮蔽を伴う制約のない状況でも、信頼性の高いセグメンテーションが可能になった。
• 追加の実世界データ収集を一切行わずに、一貫した性能向上が達成されたため、データが限られる熱画像ビジョン応用に適したフレームワークである。