[논문 리뷰] Significance-aware Information Bottleneck for Domain Adaptive Semantic Segmentation

Yawei Luo, Ping Liu외 3명|arXiv (Cornell University)|2019. 04. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 41인용 수 24

한 줄 요약

이 논문은 도메인 적응적 세분화를 향상시키기 위해 적응 전 특징을 정제함으로써, 특징 공간에서의 적대적 적합을 안정화하는 의미 인식 정보 볼록구조(의미적 정보를 가진 특징을 유지하면서도 불필요한 요소를 제거함)를 갖춘 SIBAN을 제안한다. SIBAN은 고통도의 복잡한 특징에서 임무에 관련 없는 요소를 걸러내고 학습을 안정화시켜, GTA5→Cityscapes 및 SYNTHIA→Cityscapes에서 최신 기술 수준(SOTA) 성능을 달성하며, 출력 공간 방법과 유사한 성능을 내지만 특징 공간에서 작동한다.

ABSTRACT

For unsupervised domain adaptation problems, the strategy of aligning the two domains in latent feature space through adversarial learning has achieved much progress in image classification, but usually fails in semantic segmentation tasks in which the latent representations are overcomplex. In this work, we equip the adversarial network with a "significance-aware information bottleneck (SIB)", to address the above problem. The new network structure, called SIBAN, enables a significance-aware feature purification before the adversarial adaptation, which eases the feature alignment and stabilizes the adversarial training course. In two domain adaptation tasks, i.e., GTA5 -> Cityscapes and SYNTHIA -> Cityscapes, we validate that the proposed method can yield leading results compared with other feature-space alternatives. Moreover, SIBAN can even match the state-of-the-art output-space methods in segmentation accuracy, while the latter are often considered to be better choices for domain adaptive segmentation task.

연구 동기 및 목표

• 고차원적이고 복잡한 특징으로 인해 발생하는 특징 공간 도메인 적응에서의 불안정성과 낮은 정렬 수준을 해결한다.
• 임무에 관련 없는 시각적 요소로 인해 과도하게 정확한 판별기가 잘못된 방향으로 영향을 미쳐 발생하는 적대적 학습의 불안정성 문제를 해결한다.
• 출력 공간 감독에 의존하지 않고도 효과적이고 안정적이며 정확한 도메인 정렬을 가능하게 하여 특징 공간 적응의 잠재력을 회복한다.
• 출력 공간 방법의 성능과 동등한 성능을 달성하면서도 특징 공간 적응 프레임워크 내에서 유지한다.

제안 방법

• 적대적 적합 이전에 임베딩 특징에서 임무에 관련 없는 요소를 선택적으로 제거하는 의미 인식 정보 볼록구조(SIB)를 도입한다.
• 정보 볼록구조 이론을 적용하여 입력 X와 잠재 표현 Z 사이의 상호정보량 I(X,Z)를 최소화함으로써 도메인 불변성 있는 의미 정보만 유지한다.
• 의미에 따라 특징 정제를 동적으로 조정할 수 있는 학습 가능한 SIB 모듈을 설계하여 기존 정보 볼록구조보다 더 높은 강건성과 성능을 확보한다.
• SIBAN이라는 적대적 네트워크에 SIB를 통합하여 불필요한 신호에 의해 과도하게 정확해지는 판별기의 영향을 줄이고 학습을 안정화시킨다.
• 학습 중 정보 압축과 의미 보존 사이의 균형을 조절하기 위해 적응형 β 전략을 도입한다.
• SIBAN을 다른 도메인 적응 방법(예: 의미 또는 출력 맵 정렬)과 조합하여 성능을 추가로 향상시킨다.

Figure 1 : Comparison of the baseline method and SIBAN. The baseline method aligns the latent features directly. As the crude features contain various of task-independent factors, these features are prone to be wrongly aligned between two domains. SIBAN addresses this issue by employing an informati

실험 결과

연구 질문

• RQ1 의미 인식 정보 볼록구조는 특징 공간 도메인 적응을 위한 세분화에서 적대적 학습을 안정화시킬 수 있는가?
• RQ2 임무에 관련 없는 요소를 걸러내는 것이 도메인 이동 상황에서 특징 정렬과 세분화 정확도를 향상시키는가?
• RQ3 특징 공간 적응이 최신 기술 수준의 출력 공간 방법과 동등한 성능을 낼 수 있는가?
• RQ4 표준 정보 볼록구조에 비해 SIB 모듈은 학습 안정성과 세분화 정확도 측면에서 어떻게 비교되는가?
• RQ5 적응형 β와 추가적인 판별기의 성능 향상에 기여하는 기여도는 무엇인가?

주요 결과

• ResNet-101 기반의 GTA5→Cityscapes 벤치마크에서 SIBAN은 41.4%의 평균 교차율(mIoU)을 기록하여 최신 기술 수준의 출력 공간 방법과 동일한 성능을 달성한다.
• SIBAN은 다른 특징 공간 적응 방법보다 뛰어난 성능을 보이며, GTA5→Cityscapes 및 SYNTHIA→Cityscapes 양쪽 모두에서 특징 공간 접근법 중 최고의 mIoU를 기록한다.
• SIB 도입으로 인해 적대적 판별기 손실(Loss_D)이 0.5 쪽으로 수렴하여 학습이 안정화되었고, 정보 볼록구조 없이 기준선을 사용할 경우 손실이 급격히 감소하여 판별기의 지배가 나타나는 것으로 확인되었다.
• A-distance 지표는 표준 정보 볼록구조보다 SIBAN이 도메인 간 차이를 더 효과적으로 줄임을 확인했으며, 비록 표준 IB가 약간 더 작은 A-distance를 보였지만, 의미 정보의 보존 측면에서 SIBAN이 더 낫다는 점을 확인했다.
• 절단 실험 결과, 의미 인식(SA) 레이어를 추가하면 표준 IB 대비 1.5% 향상되고, 적응형 β 도입으로 추가로 0.4% 향상됨을 확인했다.
• 의미 텐서와 세분화 맵에 대한 추가 판별기를 SIBAN과 조합하면 각각 0.8%와 2.3%의 mIoU 향상이 이루어졌다.

Figure 2 : The network architecture of the proposed SIBAN.