[논문 리뷰] Is a Modular Architecture Enough?

Sarthak Mittal, Yoshua Bengio외 1명|arXiv (Cornell University)|2022. 06. 06.

Machine Learning in Materials Science인용 수 15

한 줄 요약

이 논문은 일반화, 전문화 및 분포 외 성능을 평가하기 위해 합성적이고 규칙 기반의 데이터 분포를 사용하여 모듈러한 신경망 아키텍처를 평가한다. 연구 결과, 많은 기저 규칙이 존재할 경우 모듈러리티가 성능을 크게 향상시키지만, 표준 모듈러 시스템은 부분적으로 최적화되지 않은 전문화와 주의 집중으로 인해 종종 성능이 떨어지며, 이는 모듈러리티 외에도 더 강력한 인덕티브 비이즈가 필요함을 시사한다.

ABSTRACT

Inspired from human cognition, machine learning systems are gradually revealing advantages of sparser and more modular architectures. Recent work demonstrates that not only do some modular architectures generalize well, but they also lead to better out-of-distribution generalization, scaling properties, learning speed, and interpretability. A key intuition behind the success of such systems is that the data generating system for most real-world settings is considered to consist of sparsely interacting parts, and endowing models with similar inductive biases will be helpful. However, the field has been lacking in a rigorous quantitative assessment of such systems because these real-world data distributions are complex and unknown. In this work, we provide a thorough assessment of common modular architectures, through the lens of simple and known modular data distributions. We highlight the benefits of modularity and sparsity and reveal insights on the challenges faced while optimizing modular systems. In doing so, we propose evaluation metrics that highlight the benefits of modularity, the regimes in which these benefits are substantial, as well as the sub-optimality of current end-to-end learned modular systems as opposed to their claimed potential.

연구 동기 및 목표

• 통제된, 알려진 데이터 생성 분포 하에서 모듈러 아키텍처의 효과성을 철저히 평가하기 위해.
• 최적화 용이성이나 아키텍처 기법과 같은 혼란 요인들을 제거하고 모듈러리티와 희소성의 영향을 고립하여 평가하기 위해.
• 새로운 원칙적인 평가 지표를 사용하여 모듈러 시스템의 전문화와 붕괴 정도를 정량화하기 위해.
• 모듈러리티의 주장된 이점과 현재 엔드 투 엔드로 학습된 모듈러 시스템의 실제 성능 사이의 격차를 특정하기 위해.

제안 방법

• 모듈러 데이터 생성 과정을 시뮬레이션하기 위해 확률적으로 선택된 규칙 기반으로 합성 벤치마크 작업을 설계한다.
• 네 가지 모델 유형(통합형, 모듈러형, 모듈러-옵, 기준 모듈러형)을 통해 모듈러리티를 평가하는 프레임워크를 도입한다.
• 모듈이 특정 규칙에 얼마나 잘 집중하는지(전문화도)와 얼마나 많은 모듈이 공유된 행동으로 분해되는지(붕괴도)를 정량화하는 지표를 사용한다.
• 규칙 수, 시퀀스 길이, 데이터 분포 이탈(내분포 대 외분포) 등의 변화를 고려해 모델을 훈련하고 평가한다.
• 주의 메커니즘 또는 희소 연결성을 갖춘 RNN과 피드포워드 네트워크를 사용하여 다양한 아키텍처적 인덕티브 비이즈를 테스트한다.
• 개별 토큰 샘플링(변경된 대비 동일한)을 적용하여 분포 이탈에 대한 내성적 저항력을 점검한다.

실험 결과

연구 질문

• RQ1 알려진 규칙 기반 데이터 분포 하에서 신경망의 모듈러리티가 일반화와 전문화에 얼마나 기여하는가?
• RQ2 작업의 기저 규칙 수가 늘어날수록 성능가 변화하는가? 그리고 모듈러리티가 가장 유익한 경우는 언제인가?
• RQ3 왜 현재의 모듈러 시스템은 아키텍처적 주장에도 불구하고 전문화의 잠재력을 충분히 실현하지 못하는가?
• RQ4 주의, 희소성, 라우팅 등의 다양한 인덕티브 비이즈는 모듈 전문화와 붕괴에 어떻게 영향을 미치는가?
• RQ5 모듈러 시스템에서 전문화도와 붕괴도를 신뢰성 있게 정량화할 수 있는 지표는 무엇인가?

주요 결과

• 작업에 많은 기저 규칙이 존재할 경우 전문화가 성능 향상에 크게 기여하지만, 규칙이 몇 개 밖에 없을 경우는 거의 이점이 없다.
• 표준 모듈러 시스템은 부적절한 주의 집중과 제한된 전문화로 인해 종종 성능이 떨어지며, 이는 규칙 전용 계산에 대한 능력이 최적화되지 않았음을 시사한다.
• 규칙 수가 늘어날수록 모듈러형과 통합형 모델 간의 성능 격차가 커지며, 이는 복잡한 작업에서 모듈러리티의 확장성 이점이 뚜렷하다는 것을 보여준다.
• 모듈이 전문화되지 않고 공유된 계산을 수행하는 붕괴 현상은 여전히 주요 실패 원인으로 남아 있으며, 특히 규칙 수가 적은 영역에서 두드러진다.
• 현재 엔드 투 엔드로 학습된 모듈러 시스템은 이론적 잠재력에 비해 최적화되지 않았으며, 이는 모듈러리티 외에도 더 강력한 인덕티브 비이즈가 필요함을 시사한다.
• 제안된 평가 지표는 진정한 전문화와 표면적인 아키텍처적 이점 사이를 효과적으로 구분하며, 향후 모듈러 아키텍처 연구를 위한 신뢰할 수 있는 기준이 된다.