[논문 리뷰] Interpretable Geometric Deep Learning via Learnable Randomness Injection

Siqi Miao, Yunan Luo외 2명|arXiv (Cornell University)|2022. 10. 30.

Machine Learning in Materials Science인용 수 5

한 줄 요약

이 논문은 기하학적 딥러닝(GDL) 모델의 본질적 해석 가능성(해석 가능성)을 보장하기 위해 점군 특징에 학습 가능한 베르누이 또는 가우시안 노이즈를 주입하는 일반적인 프레임워크인 학습 가능한 랜덤니스 인젝션(LRI)을 제안한다. 학습 중에 주입된 랜덤니스를 최소화함으로써 LRI는 예측에 핵심적인 역할을 하는 주요 점과 기하 패턴을 식별하며, 과학적 기준과 분포 이탈에 대한 강건성 측면에서 사후 해석 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Point cloud data is ubiquitous in scientific fields. Recently, geometric deep learning (GDL) has been widely applied to solve prediction tasks with such data. However, GDL models are often complicated and hardly interpretable, which poses concerns to scientists who are to deploy these models in scientific analysis and experiments. This work proposes a general mechanism, learnable randomness injection (LRI), which allows building inherently interpretable models based on general GDL backbones. LRI-induced models, once trained, can detect the points in the point cloud data that carry information indicative of the prediction label. We also propose four datasets from real scientific applications that cover the domains of high-energy physics and biochemistry to evaluate the LRI mechanism. Compared with previous post-hoc interpretation methods, the points detected by LRI align much better and stabler with the ground-truth patterns that have actual scientific meanings. LRI is grounded by the information bottleneck principle, and thus LRI-induced models are also more robust to distribution shifts between training and test scenarios. Our code and datasets are available at \url{https://github.com/Graph-COM/LRI}.

연구 동기 및 목표

• 과학적 응용 분야에서 본질적으로 해석 가능한 기하학적 딥러닝(GDL) 모델의 부족을 해결하기 위해.
• 레이블 예측에 기여하는 점군 데이터 내 주요 점과 기하 패턴을 식별할 수 있는 메커니즘을 개발하기 위해.
• 일반적으로 일관성 없거나 신뢰할 수 없는 과학적 통찰을 제공하는 사후 해석 방법을 넘어서 모델의 해석 가능성 수준을 향상시키기 위해.
• 이론적 타당성과 강건성을 확보하기 위해 정보 차단 원리에 기반한 해석을 정립하기 위해.
• 고에너지 물리학 및 생화학 분야의 실제 과학 데이터셋을 대상으로 방법을 평가하기 위해.

제안 방법

• 점의 존재 중요도 평가를 위해 학습 가능한 베르누이 랜덤니스를 주입한다 (LRI-Bernoulli).
• 위치 중요도와 미세한 방향 감도 평가를 위해 기하 특징에 학습 가능한 가우시안 노이즈를 주입한다 (LRI-Gaussian).
• 정보 차단 원리에서 유도된 변동형 목표를 사용해 GDL 기반 모델을 훈련함으로써 중요한 점에서의 랜덤니스를 최소화한다.
• 퍼티urbation 모듈의 훈련을 안정화하고 해석 가능성 향상을 위해 미분 가능 그래프 재구성 기법을 사용한다.
• 모델 크기와 성능의 균형을 고려해 예측 헤드와 해석 헤드에 대해 공유 또는 별도의 인코더를 허용한다.
• 영역 특화 지식(예: 화학적 해석성을 위한 기능기능 수준의 퍼티urbation)을 포함할 수 있도록 퍼티urbation 함수 $h$를 일반화한다.

실험 결과

연구 질문

• RQ1 사후 해석에 의존하지 않고도 일반 목적의 메커니즘을 설계해 GDL 모델의 본질적 해석 가능성을 확보할 수 있는가?
• RQ2 기존의 사후 해석 방법과 비교해 LRI는 점군 데이터 내 과학적으로 의미 있는 패턴을 얼마나 잘 식별할 수 있는가?
• RQ3 LRI는 훈련 데이터와 테스트 데이터 간의 분포 이탈에 대해 강건성이 향상되는가?
• RQ4 LRI는 입자 궤적의 방향 감도와 같은 미세한 기하 패턴을 포착할 수 있는가?
• RQ5 LRI는 기능기능 수준의 중요도와 같은 더 구체적이고 인간이 이해할 수 있는 해석을 제공하도록 적응 가능한가?

주요 결과

• LRI를 적용한 모델은 네 개의 과학적 데이터셋 전반에서 사후 해석 방법보다 과학적 기준 패턴과 유의미하게 더 잘 일치하는 점을 탐지한다.
• 분포 이탈에 대한 강건성 측면에서 LRI는 도메인 이탈 시나리오에서도 일관된 성능을 보이며 개선된 강건성을 보여준다.
• 단절 실험 결과에 따르면, 미분 가능 그래프 재구성 모듈이 안정적이고 효과적인 해석을 위해 필수적임을 확인할 수 있다.
• LRI-Gaussian는 기하 특징의 방향 감도를 성공적으로 포착하여 고에너지 물리학 데이터에서 입자 속도 방향 추정이 가능하게 한다.
• PLBind와 같은 복잡한 작업에서는 예측 및 해석 헤드에 별도의 인코더를 사용할 경우 성능 향상이 이루어지나, 단순한 작업에는 공유 인코더만으로도 충분하다.
• 초기 실험 결과에 따르면, 기능기능 수준의 퍼티urbation을 적용하면 맥락 기반 해석 가능성이 향상되어 과학자들이 생물학적으로 의미 있는 통찰을 얻는 데 도움이 된다.