[논문 리뷰] Discrete-Valued Neural Communication

Dianbo Liu, Alex Lamb외 5명|arXiv (Cornell University)|2021. 07. 06.

Advanced Graph Neural Networks참고 문헌 49인용 수 13

한 줄 요약

이 논문은 구조적 딥 러닝 모델(예: 트랜스포머, 그래프 신경망, 모듈러 네트워크 등)의 구성 요소 간 통신을 공유 가능한 학습 가능한 코드북을 통해 이산 기호로 제약함으로써 이산 값으로 통신하는 디지털 밸류드 뉴럴 커뮤니케이션(DVNC)을 제안한다. 통신을 이산 값으로 제한함으로써 DVNC는 분포 외(OOD) 작업에서 체계적 일반화 능력을 향상시키고 노이즈에 대한 내성을 높이며 모델 차원을 감소시킨다. 이는 아키텍처 변경 없이 다양한 아키텍처에서 일관된 성능 향상을 이룬다.

ABSTRACT

Deep learning has advanced from fully connected architectures to structured models organized into components, e.g., the transformer composed of positional elements, modular architectures divided into slots, and graph neural nets made up of nodes. In structured models, an interesting question is how to conduct dynamic and possibly sparse communication among the separate components. Here, we explore the hypothesis that restricting the transmitted information among components to discrete representations is a beneficial bottleneck. The motivating intuition is human language in which communication occurs through discrete symbols. Even though individuals have different understandings of what a "cat" is based on their specific experiences, the shared discrete token makes it possible for communication among individuals to be unimpeded by individual differences in internal representation. To discretize the values of concepts dynamically communicated among specialist components, we extend the quantization mechanism from the Vector-Quantized Variational Autoencoder to multi-headed discretization with shared codebooks and use it for discrete-valued neural communication (DVNC). Our experiments show that DVNC substantially improves systematic generalization in a variety of architectures -- transformers, modular architectures, and graph neural networks. We also show that the DVNC is robust to the choice of hyperparameters, making the method very useful in practice. Moreover, we establish a theoretical justification of our discretization process, proving that it has the ability to increase noise robustness and reduce the underlying dimensionality of the model.

연구 동기 및 목표

• 구조적 신경망 아키텍처에서 구성 요소 간의 동적이고 희박한 통신 문제를 해결하기 위해.
• 구성 요소 간 통신을 위한 재사용 가능한 이산 기호를 제공함으로써 분포 외(OOD) 설정에서 체계적 일반화 능력을 향상시키기 위해.
• 모델 차원을 감소시키고 노이즈에 대한 내성을 높이며 이론적으로 타당한, 구성 요소 간 통신을 위한 강건한 방법을 제공하기 위해.
• 전문가 구성 요소 간에 공통 언어로 작용할 수 있는 이산적이고 공유 가능한 표현이 존재하는지 탐색하기 위해. 인간의 언어와 뇌 기능에 영감을 받음.

제안 방법

• DVNC는 다중 헤드 디지털라이제이션과 구성 요소 간 공유 코드북을 갖춘 벡터 양자화된 변동 자동부호화기(VQ-VAE)를 확장하여 구성한다.
• 학습 데이터에 대해 K-평균 클러스터링을 통해 크기가 L × m인 공유 코드북을 학습하며, 연속적인 활성화 값을 가장 가까운 이산 코드북 벡터로 매핑한다.
• 직접 전파를 위해 직선형 기울기 추정기를 사용하여 작업 손실을 이산 코드북을 통해 역전파하며, 코드북은 재구성 손실과 기여 손실에 대한 기울기 하강법으로 업데이트된다.
• 기여 손실은 활성화 값이 할당된 코드북 벡터에 가까이 유지되도록 보장하며, 작업 손실은 오직 송신 구성 요소에만 역전파된다.
• 구성 요소 간 통신이 이산 토큰 인덱스로 대체되어 모델 아키텍처는 그대로 유지되지만 상징적 통신 방식을 강제한다.
• 코드북은 나머지 모델과 함께 엔드 투 엔드로 학습되며, 지수 이동 평균 업데이트 없이 직접 최적화가 가능하다.

실험 결과

연구 질문

• RQ1 구성 요소 간 통신을 이산적으로 제약함으로써 체계적 일반화 능력이 구조적 신경망에서 향상될 수 있는가?
• RQ2 공유 가능한 학습 가능한 코드북 기반의 통신이 분포 이탈 및 분포 외 일반화에 대해 내성을 향상시키는가?
• RQ3 이산 통신은 모델 민감도와 기저 차원성에 어떤 영향을 미치며, 특히 커버링 수의 로그 측정치 측면에서 어떻게 되는가?
• RQ4 DVNC의 성능는 하이퍼파rameter 선택, 특히 코드북 크기와 손실 가중치에 대해 강건한가?
• RQ5 이산 통신이 전문화된 구성 요소 간의 공통 언어로 작용할 수 있는가? 이는 모odularity와 재사용성을 향상시키는가?

주요 결과

• DVNC는 GNN, 트랜스포머, RIM 등 다양한 아키텍처에서 분포 외(OOD) 일반화 능력을 크게 향상시키며, OOD 벤치마크에서 일관된 성능 향상을 보였다.
• Sort-of-Clevr 작업에서 DVNC는 OOD 설정 하에서 기준 모델 대비 평균 역순위(MRR) 15% 향상되었다.
• 2D Shapes 및 Three-body 작업에서 DVNC 모델은 비디지털라이제이션된 기준 모델 대비 OOD 일반화에서 20~30% 높은 정확도를 기록했다.
• 하이퍼파rameter 선택에 대해 강건한 성능을 보였으며, 다양한 코드북 크기와 손실 가중치에서 안정적인 성능을 유지했다.
• 이론적 분석을 통해 DVNC는 모델 민감도를 높이고 커버링 수의 로그를 감소시켜 기저 차원성이 낮아짐을 확인했다.
• 학습 시간은 확장 가능했으며, GNN은 단일 GPU에서 약 3시간, RIM/트랜스포머는 약 12시간이 소요되었고, 모든 실험을 합하면 총 약 800 GPU 시간이 소요되었다.