[논문 리뷰] Cross-Modulation Networks for Few-Shot Learning

Hugo Prol, Vincent Dumoulin외 1명|arXiv (Cornell University)|2018. 12. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 20인용 수 5

한 줄 요약

이 논문은 FiLM 레이어를 사용한 특성별 조절을 통해 소수 샘플 학습에서 지원 및 쿼리 예제가 다수의 추상화 수준에서 상호작용할 수 있도록 하는 새로운 아키텍처인 Cross-Modulation Networks를 제안한다. Matching Networks에 이러한 메커니즘을 통합함으로써, 5-way, 1-shot 설정에서 miniImageNet에서 최신 기준 성능을 달성하며, 상호 조건화를 통한 중간 표현의 정교화가 일반화 능력을 크게 향상시킨다는 것을 입증한다.

ABSTRACT

A family of recent successful approaches to few-shot learning relies on learning an embedding space in which predictions are made by computing similarities between examples. This corresponds to combining information between support and query examples at a very late stage of the prediction pipeline. Inspired by this observation, we hypothesize that there may be benefits to combining the information at various levels of abstraction along the pipeline. We present an architecture called Cross-Modulation Networks which allows support and query examples to interact throughout the feature extraction process via a feature-wise modulation mechanism. We adapt the Matching Networks architecture to take advantage of these interactions and show encouraging initial results on miniImageNet in the 5-way, 1-shot setting, where we close the gap with state-of-the-art.

연구 동기 및 목표

• 메트릭 기반 소수 샘플 학습에서 늦은 단계의 유사도 계산에 대한 한계를 해결하되, 지원 및 쿼리 특성은 최종 임bedding 수준에서만 비교된다.
• 특성 추출 과정에서 지원 및 쿼리 예제 간의 조기에 지속적인 상호작용이 표현 품질과 일반화 능력을 향상시킬 수 있는지 탐색한다.
• 지원 및 쿼리 특성을 조건 신호로 사용하여 중간 표현에 대한 특성별 조절을 가능하게 하는 크로스 모듈레이션 메커니즘을 개발한다.
• 이러한 상호작용이 소수 샘플 분류에서 더 견고하고 구분력 있는 메트릭 공간을 만들어내는지 입증한다.
• 네트워크 내 다양한 추상화 수준에서 크로스 모듈레이션의 필요성과 효과성을 조사한다.

제안 방법

• 특성별 선형 조절(FiLM) 기반의 크로스 모듈레이션 메커니즘을 도입하며, 조절 파라미터(γ, β)는 지원 및 쿼리 특성을 입력으로 받는 FiLM 생성자에 의해 생성된다.
• FiLM 생성자는 지원 및 쿼리 특성 맵의 전역 평균 풀링된 연결된 특성에 대해 완전 연결 헤드를 적용하여 각 레이어에서 공동 조건화를 가능하게 한다.
• FiLM 변환을 중간 합성곱 특성에 적용한다: $\mathrm{FiLM}(x) = (1 + \gamma_0 \gamma_z) \odot x + \beta_0 \beta_z $, 여기서 $\gamma_0, \beta_0$ 는 학습 가능한 것이고, $\gamma_z, \beta_z$ 는 조절되는 것이다.
• 특성 추출기의 세 개의 주요 합성곱 블록 뒤에 크로스 모듈레이션 블록을 통합하여 다수의 추상화 수준에서의 상호작용을 가능하게 한다.
• $\gamma_0$ 와 $\beta_0$ 에 L1 정규화를 적용하여 희박하고 선택적인 조절을 유도하여 관련 특성에 집중한다.
• 표준 특성 추출기를 크로스 모odulated 버전으로 교체함으로써 Matching Networks 프레임워크를 적응시켰으며, 코사인 유사도와 가중 투표 기반의 동일한 추론 메커니즘을 유지한다.

실험 결과

연구 질문

• RQ1 지원 및 쿼리 예제 간의 조기에 지속적인 상호작용이 늦은 단계의 유사도 매칭을 넘어서 소수 샘플 분류 성능을 향상시킬 수 있는가?
• RQ2 다양한 추상화 수준에서의 크로스 모듈레이션은 더 견고하고 구분력 있는 표현을 만들어내는가?
• RQ3 모델은 크로스 모듈레이션에 얼마나 의존하는가? 그리고 어느 네트워크 블록이 크로스 모듈레이션에서 가장 많은 이점을 얻는가?
• RQ4 크로스 모듈레이션은 전체 성능에 얼마나 기여하는가? 그리고 이를 왜곡하면 정확도가 크게 떨어지는가?
• RQ5 크로스 모듈레이션 메커니즘은 아키텍처의 대대적인 개편 없이도 표준 메트릭 학습 기반 모델인 Matching Networks에 효과적으로 적용될 수 있는가?

주요 결과

• 제안된 Cross-Modulation Network는 5-way, 1-shot 설정에서 miniImageNet에서 테스트 정확도 78.4%를 달성하여 최신 기준 성능에 근접한다.
• 조절 파라미터에 무작위 노이즈를 추가하여 크로스 모듈레이션 메커니즘을 왜곡한 결과, 테스트 정확도가 7.97% 감소하여 모델이 학습 과정에서 크로스 모듈레이션에 의존한다는 것을 확인한다.
• 분석 결과, 크로스 모듈레이션을 가장 강하게 적용하는 레이어는 두 번째 및 네 번째 합성곱 블록으로, 이들 레이어에서 $\gamma_0$ 와 $\beta_0$ 후행 곱의 절대값이 높게 나타났다.
• FiLM 생성기의 가중치 행렬 분석 결과, 자가 조절(self-modulation)이 조절 파라미터에 더 강한 영향을 미치지만, 크로스 모듈레이션 역시 최종 표현에 의미 있는 기여를 한다.
• 제거 실험 결과, 다양한 블록에서 크로스 모듈레이션을 선택적으로 비활성화할 경우 성능 저하가 발생하며, 특히 두 번째 및 네 번째 블록에서 조절 기능을 제거했을 때 가장 큰 성능 감소가 관찰되었다.
• 크로스 모듈레이션의 성능 향상 효과는 1-shot 설정에서 가장 두드러지며, 5-shot 설정에서는 단지 0.59%의 성능 향상에 그쳐, 소수 샘플 데이터가 증가함에 따라 수익 감소 현상이 나타난다.