[논문 리뷰] Gated Domain-Invariant Feature Disentanglement for Domain Generalizable Object Detection

Haozhuo Zhang, Huimin Yu외 2명|arXiv (Cornell University)|2022. 03. 22.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 도메인 일반화 가능한 객체 검출을 위한 새로운 방법인 게이팅된 도메인 불변 특징 분리(Gated Domain-Invariant Feature Disentanglement, GDIFD)를 제안한다. 이 방법은 채널별 게이팅 신호를 학습하는 채널 게이팅 모듈(Channel Gate Module, CGM)을 통해 도메인 불변 표현(DIR)과 도메인 특화 표현(DSR)을 분리한다. CGM은 이진화된 게이팅 신호(근처 0 또는 1)를 생성하여 DSR 전용 채널을 마스킹함으로써 더 깔끔한 채널 기반 분리를 가능하게 하며, 표준 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

For Domain Generalizable Object Detection (DGOD), Disentangled Representation Learning (DRL) helps a lot by explicitly disentangling Domain-Invariant Representations (DIR) from Domain-Specific Representations (DSR). Considering the domain category is an attribute of input data, it should be feasible for networks to fit a specific mapping which projects DSR into feature channels exclusive to domain-specific information, and thus much cleaner disentanglement of DIR from DSR can be achieved simply on channel dimension. Inspired by this idea, we propose a novel DRL method for DGOD, which is termed Gated Domain-Invariant Feature Disentanglement (GDIFD). In GDIFD, a Channel Gate Module (CGM) learns to output channel gate signals close to either 0 or 1, which can mask out the channels exclusive to domain-specific information helpful for domain recognition. With the proposed GDIFD, the backbone in our framework can fit the desired mapping easily, which enables the channel-wise disentanglement. In experiments, we demonstrate that our approach is highly effective and achieves state-of-the-art DGOD performance.

연구 동기 및 목표

• 도메인 불변 표현(DIR)과 도메인 특화 표현(DSR) 간의 더 깔끔한 분리를 가능하게 하여 도메인 일반화 가능한 객체 검출(DGOD) 성능을 향상시키기 위해.
• 기존의 DRL 방법이 도메인 특화 표현(DSR)에 대해 전적으로 할당된 채널을 보장하지 않는 다중 컨볼루션 기반 접근 방식의 한계를 해결하기 위해.
• 도메인 카테고리 자체를 속성으로 활용하여 특정 채널을 DSR에 명시적으로 할당함으로써 채널 차원을 따라 더 효과적인 분리를 가능하게 하기 위해.
• 이중화된 채널 선택을 강제하는 경량이며 학습 가능한 게이팅 메커니즘을 통해 우수한 DGOD 성능를 달성하기 위해.

제안 방법

• 채널 게이팅 모듈(Channel Gate Module, CGM)을 도입하여, 새로운 게이팅 손실을 통해 $ S_{di} $와 같은 채널별 게이팅 신호를 출력하며, 이는 0 또는 1에 가까운 값으로 제약된다.
• 게이팅 신호는 백본 특징 $ F_b $ 와 요소별 곱셈을 통해 적용되어 도메인 특화 정보에 전용으로 할당된 채널을 마스킹한다.
• CGM은 초기화 시 1에 가까운 값을 가지도록 하여 DSR에 대한 채널 사용을 최소화함으로써 DIR 학습의 효율성을 증진시킨다.
• 게이팅 신호의 이진화된 행동을 강제하기 위해 게이팅 손실을 제안하여, 채널이 DIR 또는 DSR 중 하나에만 전적으로 할당되도록 보장한다.
• 도메인 불변 표현(DIR)과 DSR 간의 독립성을 더욱 증진시키기 위해 적대적 정렬 기법을 사용한다.
• 공유된 백본과 단일 얕은 인코더만을 사용하여 효율적이고 확장 가능한 분리를 가능하게 한다.

실험 결과

연구 질문

• RQ1 학습 가능한 이진화된 게이팅 신호를 통해 도메인 불변 및 도메인 특화 특징의 채널 기반 분리를 효과적으로 달성할 수 있는가?
• RQ2 게이팅 신호를 0 또는 1에 가깝게 강제함으로써 기존의 어텐션 메커니즘에 비해 특징 분리의 품질이 현저히 향상되는가?
• RQ3 경량적인 채널 게이팅 메커니즘이 복잡한 다중 백본 또는 복원 기반 DRL 방법보다 DGOD 성능에서 뛰어나게 성능을 낼 수 있는가?
• RQ4 특수 초기화와 게이팅 손실의 조합이 CGM의 성능 및 분리 품질에 어떤 영향을 미치는가?
• RQ5 제안된 GDIFD 방법이 동일하거나 더 뛰어난 성능을 보이며 비지도 도메인 적응(UDAOD) 설정으로 일반화 가능한가?

주요 결과

• 특수 초기화와 게이팅 손실을 모두 적용한 제안된 CGM가 최고의 성능을 기록하였으며, B&C to F 벤치마크에서 38.3%의 mAP를 달성하여 모든 아블레이션 변형을 압도했다.
• 게이팅 손실이 없을 경우 게이팅 신호는 회색(중간 값)을 유지하여 DIR과 DSR 간의 엔트레인먼트가 발생함을 나타내며, 이는 성능 저하로 이어진다.
• 특수 초기화와 게이팅 손실을 모두 적용한 경우, B&C to F 설정에서 도메인 분류에 대해 오직 한 개의 채널만을 할당하는 것을 모델이 학습함으로써 DSR 간섭을 최소화한다.
• 아블레이션 연구를 통해 게이팅 손실과 특수 초기화가 깨끗한 이진화된 채널 게이팅 및 최적의 분리를 달성하기 위해 필수적임을 확인하였다.
• UDAOD 설정에서는 동일한 FCOS 베이스라인을 사용할 때 CFA 대비 mAP를 1.2% 향상시켰다(41.4% 대 40.2%), 이는 뛀난 전이 가능성과 함께 강력한 성능을 보여준다.
• 여러 DGOD 벤치마크에서 최신 기술 수준의 성능를 달성하여, 제안된 방법의 효과성과 일반화 능력이 검증되었다.