[논문 리뷰] Factorised Neural Relational Inference for Multi-Interaction Systems

Ezra Webb, Ben Day외 2명|arXiv (Cornell University)|2019. 05. 21.

Topic Modeling참고 문헌 10인용 수 14

한 줄 요약

이 논문은 잠재 상호작용 그래프를 별도의 상호작용 유형에 대응하는 복수층으로 분해하는 인과적 신경 관계 추론(fNRI)을 제안한다. 이를 통해 모델 크기를 줄이고, 유도 피드백을 통한 학습 안정성을 향상시키며, 다양한 물리계에서 간선 및 궤적 예측 성능을 최고 수준으로 향상시킨다. 원래의 NRI를 능가하며, VAE 설정이 뛰어난 성능을 내는 데 필수적이지 않음을 입증한다.

ABSTRACT

Many complex natural and cultural phenomena are well modelled by systems of simple interactions between particles. A number of architectures have been developed to articulate this kind of structure, both implicitly and explicitly. We consider an unsupervised explicit model, the NRI model, and make a series of representational adaptations and physically motivated changes. Most notably we factorise the inferred latent interaction graph into a multiplex graph, allowing each layer to encode for a different interaction-type. This fNRI model is smaller in size and significantly outperforms the original in both edge and trajectory prediction, establishing a new state-of-the-art. We also present a simplified variant of our model, which demonstrates the NRI's formulation as a variational auto-encoder is not necessary for good performance, and make an adaptation to the NRI's training routine, significantly improving its ability to model complex physical dynamical systems.

연구 동기 및 목표

• 다양한 상호작용 유형을 포함하는 시스템에서 원래의 신경 관계 추론(NRI) 모델의 표현 및 학습 비효율성을 해결한다.
• 단일 그래프로 다중 상호작용 시스템을 모델링할 경우 간선 유형 조합의 지수적 증가 문제를 해결한다.
• 복수층 그래프 구조를 통해 각 상호작용 유형에 대한 타겟 피드백을 가능하게 하여 학습 신호의 품질을 향상시킨다.
• VAE 설정이 높은 성능을 내는 데 필수적이지 않음을 입증하기 위해 단순화된 변형(sfNRI)을 도입한다.
• 에코딩 및 디코딩 단계를 분리한 수정된 학습 절차를 통해 복잡한 물리적 역학을 더 잘 학습할 수 있도록 모델 능력을 향상시킨다.

제안 방법

• 잠재 상호작용 그래프를 복수층 구조로 분해하여 각 상호작용 유형이 그래프의 별도 층에 할당되도록 하여 부정확성과 중복을 줄이고 해석 가능성을 향상시킨다.
• 메시지 전파 기반 그래프 신경망(GNN)을 사용해 간선 임베딩을 계산하고, K개의 간선 유형에 대해 소프트맥스를 적용해 간선 유형의 사후 분포를 산출한다.
• 각 상호작용 유형에 대해 별도의 간선-정점 메시지 전파 함수로 디코더를 분해하며, 각 유형에 맞는 독립적인 신경망 $\tilde{f}^k_e$ 및 $\tilde{f}_v$를 사용한다.
• 학습 절차를 수정하여 첫 50개 시간단위는 에코딩, 다음 50개는 디코딩에 사용함으로써 더 나은 시퀀스 모델링과 일반화 성능 향상을 달성한다.
• VAE 목표를 제거하고 직접 크로스 엔트로피 또는 이진 크로스 엔트로피 손실을 사용하는 단순화된 fNRI 변형(sfNRI)을 도입하여, 강력한 성능을 내기 위해 생성 모델링이 필수적인 것은 아님을 입증한다.
• 학습 중의 미분 가능 샘플링을 위해 온도 조절 콘crete 근사법을 적용하며, $\tau = 0.5$로 설정하고, 복잡한 시스템에서의 학습 안정성을 확보하기 위해 L2 정규화를 사용한다.

실험 결과

연구 질문

• RQ1 복수층 그래프 구조는 다중 상호작용 시스템에서 관계 기반 유추의 표현 효율성과 학습 성능을 향상시킬 수 있는가?
• RQ2 각 상호작용 유형을 별도의 층으로 분해하면 통합된 간선 유형 표현보다 더 나은 간선 및 궤적 예측 성능를 달성할 수 있는가?
• RQ3 관계 기반 추론에서 변분 자동인코더(VAE) 목표는 높은 성능을 내기 위해 필수적인가, 아니면 판별적 학습만으로도 충분한가?
• RQ4 학습 시 에코딩 및 디코딩 단계를 분리하면 모델이 복잡한 물리적 역학을 추론하는 능력에 어떤 영향을 미치는가?
• RQ5 구조화된 그래프 분해를 통한 개선된 피드백 메커니즘이 관계 기반 유추 모델의 오차 전파를 줄이고 일반화 성능을 향상시키는가?

주요 결과

• fNRI 모델은 모든 테스트 시스템에서 원래의 NRI를 뛰어넘는 최고 성능을 기록하며, 간선 예측 성능에서 최고 수준을 달성한다. 특히 I+C 및 I+C+F 시스템에서 두드러진 성능 향상을 보였다.
• fNRI는 간선 유형을 분해함으로써 모델 크기를 줄였다. 인코더는 710,660개의 파라미터를 사용하고 디코더는 406,020개를 사용한다. 이는 원래 NRI의 711,688 및 678,404개의 파라미터를 고려할 때 더 복잡한 상호작용을 모델링하면서도 더 작은 모델 크기를 확보한 것이다.
• VAE 목표를 제거한 단순화된 fNRI(sfNRI) 변형은 경쟁 가능한 성능을 기록하여, VAE 설정이 높은 성능을 내기 위해 반드시 필요하지 않음을 입증했다.
• 에코딩 및 디코딩 단계를 별도로 50단계씩 사용하는 수정된 학습 절차는 특히 I+C+F와 같은 복잡한 시스템에서 궤적 예측 성능을 크게 향상시켰다.
• 간선 정확도는 각 상호작용 유형별로 분해되었으며, 모든 유형이 동시에 정확해야 하는 병합 정확도 역시 일관되게 향상되어, 복수층 구조가 더 정확하고 견고한 추론을 가능하게 함을 확인했다.
• 모델의 성능는 레이블 순서의 모호성에 대해 강건하며, 배치 간 일관된 레이블 할당이 이루어져 학습된 간선 유형 할당의 신뢰성을 검증했다.