[논문 리뷰] Context-Aware Multipath Networks

Dumindu Tissera, Kumara Kahatapitiya외 3명|arXiv (Cornell University)|2019. 07. 26.

Advanced Neural Network Applications참고 문헌 37인용 수 6

한 줄 요약

이 논문은 입력 맥락에 따라 특징을 동적으로 할당하는 학습 가능한, 데이터에 의존하는 라우팅을 갖춘 다중경로 컨볼루션 네트워크인 Context-Aware Multipath Networks (CAMNet)를 제안한다. CAMNet는 이미지 분류 및 픽셀 레이블링 작업에서 단일 경로, 넓은, 깊은 네트워크를 능가하며, 맥락 인식형 엔드 투 엔드 흐름 제어와 도메인 특화 및 공유 특징 간의 효율적 자원 공유를 가능하게 한다.

ABSTRACT

Making a single network effectively address diverse contexts---learning the variations within a dataset or multiple datasets---is an intriguing step towards achieving generalized intelligence. Existing approaches of deepening, widening, and assembling networks are not cost effective in general. In view of this, networks which can allocate resources according to the context of the input and regulate flow of information across the network are effective. In this paper, we present Context-Aware Multipath Network (CAMNet), a multi-path neural network with data-dependant routing between parallel tensors. We show that our model performs as a generalized model capturing variations in individual datasets and multiple different datasets, both simultaneously and sequentially. CAMNet surpasses the performance of classification and pixel-labeling tasks in comparison with the equivalent single-path, multi-path, and deeper single-path networks, considering datasets individually, sequentially, and in combination. The data-dependent routing between tensors in CAMNet enables the model to control the flow of information end-to-end, deciding which resources to be common or domain-specific.

연구 동기 및 목표

• 다양한 분포와 맥락을 가진 다수의 데이터셋에 일반화할 수 있도록 단일 신경망을 훈련하는 데 도전한다.
• 깊이 또는 너비를 늘리는 것의 한계를 극복하여 다양한 데이터 분포를 처리하는 데 비효율적인 방법을 개선한다.
• 단일 모델 내에서 공유 또는 도메인 특화 경로를 선택적으로 사용할 수 있도록 동적이고 맥락 인식형 특징 라우팅을 가능하게 한다.
• 기존에 학습한 도메인의 지식을 유지하면서 새로운 도메인에 적응할 수 있도록 지속적 학습에서 성능을 향상시킨다.
• 학습 가능한 라우팅이 고정된 아키텍처보다 깊은 네트워크에서의 다중 도메인 일반화에 핵심임을 입증한다.

제안 방법

• CAMNet는 각 레이어에서 다수의 병렬 텐서를 사용하여 다양한 특징 표현을 추출함으로써, 다양한 입력 맥락에 대한 민첩한 적응을 가능하게 한다.
• 입력의 맥락에 따라 데이터를 특정 텐서에 동적으로 할당하는 학습 가능한, 데이터에 의존하는 라우팅 메커니즘이 사용되며, 학습 가능한 파rameter를 가진 소프트 라우팅 게이트를 통해 구현된다.
• 각 레이어의 텐서는 다음 레이어의 모든 텐서에 대한 활성화를 예측함으로써, 네트워크 전반에 걸친 맥락 인식형 흐름 조절이 가능해진다.
• 라우팅은 특징 흐름을 조절하는 미분 가능한 게이트를 통해 구현되며, 전체 아키텍처의 엔드 투 엔드 훈련을 가능하게 한다.
• 분류(완전 연결 헤드를 사용) 및 세그멘테이션(에코더-디코더 구조) 설정에서 네트워크를 평가한다.
• 단일 경로, 다중경로, 더 깊은 단일 경로 기준선과 비교하며, 라우팅 유무에 따른 아블레이션도 수행한다.

실험 결과

연구 질문

• RQ1 통합 아키텍처를 사용하여 서로 다른 데이터 분포를 가진 다수의 데이터셋에서 효과적으로 학습할 수 있는 단일 신경망이 가능한가?
• RQ2 고정되거나 라우팅되지 않은 다중경로 네트워크와 비교해 병렬 텐서 간의 데이터에 의존하는 라우팅이 성능 향상에 기여하는가?
• RQ3 새로운 도메인을 학습할 때 CAMNet는 이전에 학습한 데이터셋에서의 성능을 얼마나 잘 유지하는가(지속적 학습)?
• RQ4 CAMNet의 병렬 텐서는 서로 다른 특징 표현을 학습하는가, 아니면 정보를 중복으로 학습하는가?
• RQ5 성능와 모델 효율성의 균형을 고려할 때 최적의 병렬 텐서 수는 얼마인가?

주요 결과

• CAMNet는 MNIST, CIFAR-10, Cityscapes 등 개별 데이터셋에서 단일 경로 및 다중경로 네트워크를 능가하며 맥락 인식형 라우팅 덕분이다.
• 결합된 데이터셋에서의 공동 훈련에서, CAMNet는 기준선보다 더 높은 전체 정확도를 달성하며, 다양한 도메인에서 활성화 경로의 명확한 변동을 보였다.
• CAMNet는 지속적 학습 시나리오에서 강력한 성능을 유지하며, 표준 네트워크보다 이전 도메인의 지식을 더 잘 보존한다.
• 병렬 텐서의 수(예: CAMNet3 vs. CAMNet4)는 성능에 영향을 미치며, CAMNet3는 대부분의 개별 데이터셋에서趋기화를 보이고, CAMNet4는 공동 및 지속적 학습에서 약간의 성능 향상을 보였다.
• 병렬 컨볼루션의 가중치 히스토그램은 서로 다른 분포를 보이며, 서로 다른 경로가 중복된 특징이 아닌 서로 다른 특징 표현을 학습하고 있음을 확인한다.
• 라우팅 메커니즘이 부족할 경우, 다중경로 네트워크의 병렬 텐서는 유사한 특징을 학습하지만, CAMNet의 라우팅은 선택적이고 맥락 기반 특징 활용을 가능하게 하여 부족함을 줄인다.