[論文レビュー] Unsupervised Domain Adaptation for Training Event-Based Networks Using Contrastive Learning and Uncorrelated Conditioning

Dayuan Jian, Mohammad Rostami|arXiv (Cornell University)|Mar 22, 2023

Advanced Memory and Neural Computing被引用数 4

ひとこと要約

本論文は、コントラスト学習と相関のない条件付けを用いて、非教師ありドメイン適応（UDA）のための新規な手法を提案する。対応のないフレームベースデータをソースドメインとして活用することで、増幅不変の表現学習と、イベントとフレームの特徴間の相関のない表現を強制することで、特徴の汎化性を向上させ、Caltech101→N-Caltech101およびCIFAR10→CIFAR10-DVSベンチマークでそれぞれ2.0%および3.7%の精度向上を達成し、最先端手法を上回る。

ABSTRACT

Event-based cameras offer reliable measurements for preforming computer vision tasks in high-dynamic range environments and during fast motion maneuvers. However, adopting deep learning in event-based vision faces the challenge of annotated data scarcity due to recency of event cameras. Transferring the knowledge that can be obtained from conventional camera annotated data offers a practical solution to this challenge. We develop an unsupervised domain adaptation algorithm for training a deep network for event-based data image classification using contrastive learning and uncorrelated conditioning of data. Our solution outperforms the existing algorithms for this purpose.

研究の動機と目的

• 注釈付きイベントベースデータの不足に起因する課題に対処し、対応のないフレームベースデータセットからのドメイン適応を可能にする。
• ペアのとれたイベント-フレームデータを必要とせずに、イベントベースネットワークの表現学習を改善する。
• 新しい損失制約を用いて、フレームベースとイベントベースのデータ分布間のドメインシフトを低減する。
• コントラスト学習と相関のない条件付けを用いて、モデルの汎化性と特徴の分離性を向上させる。
• ソースドメインの注釈のみを用いて、ターゲットイベントベースデータセットで教師あり学習と同等の性能を達成する。

提案手法

• 同じオブジェクトの異なる増幅を共有の潜在空間に投影することで、増幅不変の表現を学ぶためにコントラスト学習を適用する。
• イベントカメラ下でのオブジェクトの潜在表現が、フレームカメラ下での外観と相関のないことを保証するため、相関のない条件付け損失を導入する。
• フレームとイベントの入力の両方に対して共通のエンコーダーを用い、コントラスト学習と相関のない条件付けのための別々のプロジェクションヘッドを設ける。
• コサイン類似度に基づくコントラスト損失と、同じ入力モalityに適用される相関のない条件付け損失の両方を組み合わせてモデルを最適化する。
• プロジェクションヘッドにモーメンタムエンコーダーとMLPを用いるが、追加のMLPやモーメンタム部品が性能向上に寄与しないことを発見した。
• 損失重みのハイパーパramータチューニングを実施し、コントラスト損失と相関のない条件付け損失に等しい重み（1.0）を設定した場合が最適な結果をもたらした。

実験結果

リサーチクエスチョン

• RQ1 データ増幅を用いたコントラスト学習は、イベントベースビジョンの非教師ありドメイン適応における一般化性を向上させるか？
• RQ2 フレームとイベントの特徴間の相関のない表現を強制することで、より良い分離性と性能が得られるか？
• RQ3 対応のないフレームからイベントへの適応において、提案手法は最先端のUDAアプローチよりも有効であるか？
• RQ4 モーメンタムエンコーダーや追加のMLPといったアーキテクチャ的選択が、モデル性能に与える影響は何か？
• RQ5 提案された制約は、フレーム境界のような余計な特徴を除去することで、生成されたイベントデータの品質を向上させるか？

主な発見

• 提案手法はCaltech101→N-Caltech101ベンチマークで最先端手法を2.0%上回る精度向上を達成した。
• CIFAR10→CIFAR10-DVSベンチマークでも3.7%の性能向上が観察され、強力な汎化性を示した。
• コントラスト学習と相関のない条件付けを組み合わせることで1.9%の性能向上が得られ、それぞれが個別に1.1%および1.2%の寄与を示した。
• ベースラインおよび先行手法と比較して、フレーム境界のような余計な線が少ない、より高品質なイベントデータが生成された。
• UMap可視化により、提案手法を用いることでクラスクラスタがより明確に分離され、重複が少なくなっていることが確認され、より良いドメインアライメントが実現していることが示された。
• 追加のMLP層やモーメンタム部品は性能向上に寄与せず、提案された2つの制約のガイドラインを弱める可能性があることが示された。