[논문 리뷰] WM-MoE: Weather-aware Multi-scale Mixture-of-Experts for Blind Adverse Weather Removal

Yulin Luo, Rui Zhao외 8명|arXiv (Cornell University)|2023. 03. 24.

Flood Risk Assessment and Management인용 수 5

한 줄 요약

이 논문은 시각 트랜스포머 기반의 블라인드 악기상 제거 방법인 WM-MoE를 제안한다. 이는 분리된 기상 및 콘텐츠 특징 기반으로 이미지 토큰을 전문화된 전문가에게 동적으로 라우팅하기 위해 기상 인식 라우터(WEAR)와 다중 해상도 전문가(MSE)를 활용한다. 기상 표현 학습을 향상시키기 위해 기상 가이던스 미세 조절 대비 학습(WGF-CL)을 도입하여, MAW-Sim, All-Weather, Cityscapes 데이터셋에서 SOTA 성능을 달성하며 특히 혼합 기상 조건에서 PSNR 및 SSIM 측면에서 뚜렷한 향상을 이룬다.

ABSTRACT

Adverse weather removal tasks like deraining, desnowing, and dehazing are usually treated as separate tasks. However, in practical autonomous driving scenarios, the type, intensity,and mixing degree of weather are unknown, so handling each task separately cannot deal with the complex practical scenarios. In this paper, we study the blind adverse weather removal problem. Mixture-of-Experts (MoE) is a popular model that adopts a learnable gate to route the input to different expert networks. The principle of MoE involves using adaptive networks to process different types of unknown inputs. Therefore, MoE has great potential for blind adverse weather removal. However, the original MoE module is inadequate for coupled multiple weather types and fails to utilize multi-scale features for better performance. To this end, we propose a method called Weather-aware Multi-scale MoE (WM-MoE) based on Transformer for blind weather removal. WM-MoE includes two key designs: WEather-Aware Router (WEAR) and Multi-Scale Experts (MSE). WEAR assigns experts for each image token based on decoupled content and weather features, which enhances the model's capability to process multiple adverse weathers. To obtain discriminative weather features from images, we propose Weather Guidance Fine-grained Contrastive Learning (WGF-CL), which utilizes weather cluster information to guide the assignment of positive and negative samples for each image token. Since processing different weather types requires different receptive fields, MSE leverages multi-scale features to enhance the spatial relationship modeling capability, facilitating the high-quality restoration of diverse weather types and intensities. Our method achieves state-of-the-art performance in blind adverse weather removal on two public datasets and our dataset. We also demonstrate the advantage of our method on downstream segmentation tasks.

연구 동기 및 목표

• 실제 자율주행 환경에서 기상 유형, 강도 및 혼합 여부가 알려지지 않은 블라인드 악기상 제거 과제를 해결한다.
• 비가, 안개, 눈내림을 별도의 과제로 간주하는 기존 방법의 한계를 극복하여, 알려지지 않은 또는 혼합된 기상 조건에 대한 일반화 능력을 향상시킨다.
• 기상 인식 라우팅과 다중 해상도 특징 모델링을 통한 Mixture-of-Experts(MoE) 활용으로 모델의 일반화 능력과 성능을 향상시킨다.
• 기상 및 콘텐츠 특징을 분리함으로써 전문가 선택과 강건성을 향상시키기 위한 표현 학습 전략을 개발한다.

제안 방법

• 콘텐츠 및 기상 특징을 분리하여 각 이미지 토큰을 특정 전문가에게 라우팅하는 기상 인식 라우터(WEAR)를 제안하여 기상 특화 전문가 선택을 향상시킨다.
• 기상 클러스터 정보를 기반으로 한 미세 조절 대비 학습(WGF-CL)을 도입하여 토큰 수준에서 내부 기상 유사성과 외부 기상 차이를 고려해 양성 및 음성 샘플 선택을 유도함으로써 기상 표현의 품질을 향상시킨다.
• 다양한 기상 강도 및 유형에 걸쳐 공간적 관계를 더 잘 모델링할 수 있도록 다중 수준의 수신장에서 기능을 처리하는 다중 해상도 전문가(MSE)를 설계한다.
• 공유된 컨volutional 헤드와 테일을 갖춘 비전 트랜스포머 백본에 WM-MoE 모듈을 통합하여 블라인드 기상 복원을 위한 엔드 투 엔드 학습을 가능하게 한다.
• 기상 토큰을 추출하기 위해 경량 비전 트랜스포머 인코더를 사용하며, 이를 WGF-CL에서 기상 인식 표현을 정교화하는 데 활용한다.
• 성능과 계산 효율성의 균형을 위해 16개의 전문가(N=16)와 함께 상위-k 게이팅 메커니즘(k=4)을 활용한다.

실험 결과

연구 질문

• RQ1 기상 유형과 강도가 알려지지 않은 블라인드 악기상 제거에 Mixture-of-Experts(MoE) 프레임워크를 효과적으로 적용할 수 있는가?
• RQ2 라우팅 메커니즘에서 기상 및 콘텐츠 특징을 분리함으로써 기상 특화 전문가 라우팅을 어떻게 향상시킬 수 있는가?
• RQ3 기상 클러스터 정보를 기반으로 한 미세 조절 대비 학습이 기상 표현의 구분 능력을 향상시키는가?
• RQ4 단일 해상도 전문가 대비 다중 해상도 전문가 설계가 다양한 기상 유형과 강도에서 성능 향상에 기여하는가?
• RQ5 제안된 WM-MoE 프레임워크는 기상 복원 후 내림비 세그멘테이션 성능에 얼마나 기여하는가?

주요 결과

• WM-MoE는 MAW-Sim 데이터셋에서 SOTA 성능을 달성하여 PSNR 30.30, SSIM 0.9461을 기록하며, 블라인드 및 혼합 기상 조건에서 기존 방법을 능가한다.
• All-Weather 데이터셋에서 WM-MoE는 PSNR 30.25, SSIM 0.9462를 기록하여 다양한 기상 조건에서 강력한 일반화 능력을 입증한다.
• Cityscapes에서 WM-MoE는 PSNR 30.18, SSIM 0.9441을 기록하여 실제 자동차 주행 환경으로의 전이 능력이 뛰어나다는 것을 보여준다.
• 절단 분석 결과, 각 구성 요소인 WEAR, MSE, WGF-CL이 성능 향상에 기여하며, WGF-CL이 다른 대비 학습 기반 방법보다 뛰어난 성능을 보인다.
• 전문가 수(N)와 상위-k 라우팅(K)에 대한 절단 분석 결과, N=16 및 K=4가 성능과 효율성 간 최적의 균형을 이룬다. PSNR는 N이 증가함에 따라 거의 로지스틱적으로 증가한다.
• 하류의 세그멘테이션 과제는 WM-MoE 복원에서 유의미한 이점을 얻었으며, 상한선에 매우 가까운 성능을 달성하여 이 방법이 이미지 복원을 넘어서 실용적 유용성을 지닌다는 것을 입증한다.