[논문 리뷰] Unsupervised Domain Adaptation for Training Event-Based Networks Using Contrastive Learning and Uncorrelated Conditioning

Dayuan Jian, Mohammad Rostami|arXiv (Cornell University)|2023. 03. 22.

Advanced Memory and Neural Computing인용 수 4

한 줄 요약

이 논문은 대조 학습과 상관 없는 조건화를 활용하여 이벤트 기반 신경망을 훈련하기 위한 새로운 비지도 도메인 적응(UDA) 방법을 제안한다. 짝이 지어지지 않은 프레임 기반 데이터를 소스 도메인으로 활용함으로써, 증강에 불변인 표현 학습을 통해 특징 일반화를 향상시키고, 이벤트 및 프레임 특징 간에 상관 없는 표현을 강제하여, Caltech101→N-Caltech101 및 CIFAR10→CIFAR10-DVS 벤치마크에서 각각 2.0%와 3.7%의 정확도 향상을 달성하며 기존 최고 성능 기법을 초월한다.

ABSTRACT

Event-based cameras offer reliable measurements for preforming computer vision tasks in high-dynamic range environments and during fast motion maneuvers. However, adopting deep learning in event-based vision faces the challenge of annotated data scarcity due to recency of event cameras. Transferring the knowledge that can be obtained from conventional camera annotated data offers a practical solution to this challenge. We develop an unsupervised domain adaptation algorithm for training a deep network for event-based data image classification using contrastive learning and uncorrelated conditioning of data. Our solution outperforms the existing algorithms for this purpose.

연구 동기 및 목표

• 결측된 이벤트 기반 데이터를 해결하기 위해 짝이 지어지지 않은 프레임 기반 데이터셋에서 도메인 적응을 가능하게 한다.
• 이벤트 기반 네트워크의 표현 학습을 향상시키기 위해 이벤트-프레임 데이터의 짝이 지어진 데이터가 필요로 하지 않는다.
• 새로운 손실 제약 조건을 통해 프레임 기반 및 이벤트 기반 데이터 분포 간의 도메인 차이를 줄인다.
• 대조 학습과 상관 없는 조건화를 활용하여 모델 일반화 및 특징 분리도 향상시킨다.
• 소스 도메인의 애너테이션만을 사용하여 타겟 이벤트 기반 데이터셋에서 지도 학습과 비교 가능한 성능을 달성한다.

제안 방법

• 동일한 객체의 다양한 증강을 공유된 잠재 공간에 투영함으로써 증강에 불변인 표현을 학습하기 위해 대조 학습을 적용한다.
• 이벤트 카메라 하에서의 객체 잠재 표현이 프레임 카메라 하에서의 외관과 상관이 없도록 보장하기 위해 상관 없는 조건화 손실을 도입한다.
• 프레임 및 이벤트 입력에 모두 공통의 인코더를 사용하고, 대조 학습과 상관 없는 조건화에 각각 별도의 프로젝션 헤드를 사용한다.
• 코사인 유사도 기반 대조 손실과 상관 없는 조건화 손실을 모두 동일한 입력 모odal에 적용하여 모델을 최적화한다.
• 모멘텀 인코더와 MLP를 프로젝션 헤드에 사용하지만, 추가적인 MLP나 모멘텀 구성 요소가 성능 향상에 기여하지 않는 것으로 확인된다.
• 손실 가중치에 대한 초모델 튜닝을 수행하여, 대조 손실과 상관 없는 조건화 손실에 대해 동일한 가중치(1.0)를 설정할 경우 최적의 성능을 달성한다.

실험 결과

연구 질문

• RQ1 데이터 증강을 활용한 대조 학습이 이벤트 기반 시각의 비지도 도메인 적응에서 일반화를 향상시키는가?
• RQ2 프레임 및 이브트 특징 간의 상관 없는 표현을 강제하면 더 나은 분리도 및 성능이 달성되는가?
• RQ3 짝이 지어지지 않은 프레임에서 이벤트로의 적응에 대해 제안된 방법이 기존 최고 성능 기법보다 얼마나 효과적인가?
• RQ4 모멘텀 인코더 및 추가적인 MLP와 같은 아키텍처 선택이 모델 성능에 어떤 영향을 미치는가?
• RQ5 제안된 제약 조건이 이물질적인 특징(예: 프레임 경계)을 제거함으로써 생성된 이벤트 데이터의 품질을 향상시키는가?

주요 결과

• 제안된 방법은 Caltech101→N-Caltech101 벤치마크에서 기존 최고 성능 기법 대비 2.0%의 정확도 향상을 달성한다.
• CIFAR10→CIFAR10-DVS 벤치마크에서 3.7%의 성능 향상이 관찰되어 강력한 일반화 능력을 보여준다.
• 대조 학습과 상관 없는 조건화를 조합하면 1.9%의 성능 향상이 발생하며, 각 성분이 각각 1.1%와 1.2%의 기여를 한다.
• 기존 기반 및 이전 방법 대비 더 높은 품질의 이벤트 데이터를 생성하여, 예를 들어 프레임 경계와 같은 이물질 선이 적다.
• UMap 시각화 결과, 제안된 방법을 사용할 경우 클래스 클러스터가 더 분리되어 있고 겹치는 정도가 적어, 더 나은 도메인 정렬을 나타낸다.
• 추가적인 MLP 계층이나 모멘텀 구성 요소는 성능 향상에 기여하지 않으며, 이는 두 가지 제안된 제약 조건의 지시 기능을 약화시킬 수 있음을 시사한다.