[논문 리뷰] Adaptive wavelet distillation from neural networks through interpretations

Woo‐Seok Ha, Chandan Singh외 3명|arXiv (Cornell University)|2021. 07. 19.

Machine Learning in Materials Science참고 문헌 2인용 수 20

한 줄 요약

이 논문은 예측 지식을 학습 가능한 해석 가능한 웨이블릿 변환으로 정교하게 전달하는 방법인 적응형 웨이블릿 정련(Adaptive Wavelet Distillation, AWD)을 제안한다. 이는 특성 기여도를 활용하여 훈련된 딥 네ural 네트워크(DNN)의 지식을 정련한다. AWD는 예측 성능이 뛰어나고 계산 효율적이며 과학적으로 해석 가능한 모델을 생성하며, 천체물리학적 파rameter 추론과 분자 파트너 예측에서 최신 기술보다 뛰어난 성능을 보이며, 수렴도 맵에서 고강도 피크나 클라트린 역학과 같은 도메인 관련 특징을 식별한다.

ABSTRACT

Recent deep-learning models have achieved impressive prediction performance, but often sacrifice interpretability and computational efficiency. Interpretability is crucial in many disciplines, such as science and medicine, where models must be carefully vetted or where interpretation is the goal itself. Moreover, interpretable models are concise and often yield computational efficiency. Here, we propose adaptive wavelet distillation (AWD), a method which aims to distill information from a trained neural network into a wavelet transform. Specifically, AWD penalizes feature attributions of a neural network in the wavelet domain to learn an effective multi-resolution wavelet transform. The resulting model is highly predictive, concise, computationally efficient, and has properties (such as a multi-scale structure) which make it easy to interpret. In close collaboration with domain experts, we showcase how AWD addresses challenges in two real-world settings: cosmological parameter inference and molecular-partner prediction. In both cases, AWD yields a scientifically interpretable and concise model which gives predictive performance better than state-of-the-art neural networks. Moreover, AWD identifies predictive features that are scientifically meaningful in the context of respective domains. All code and models are released in a full-fledged package available on Github (https://github.com/Yu-Group/adaptive-wavelets).

연구 동기 및 목표

• 과학적 응용에서 딥 네럴 네트워크의 해석 가능성과 계산 효율성을 향상시키는 방법을 개발하는 것.
• 고성능의 블랙박스 모델과 본질적으로 해석 가능한 모델 사이의 격차를 웨이블릿 기반 정련을 통해 메우는 것.
• 천체물리학과 세포생물학 분야의 전문가들과 협업하여 해석 가능성을 실제 과학 문제에 기반으로 하는 것.
• 도메인 특화된 이론에 관련된 특징을 식별하는 예측 가능하고 과학적으로 의미 있는 모델을 만드는 것.
• 기여도 기반 정련을 통해 유도된 웨이블릿 기반 모델이 표준 웨이블릿과 딥 네트워크보다 예측 성능과 압축성에서 뛰어나다는 것을 입증하는 것.

제안 방법

• AWD는 사전 훈련된 DNN의 샐런시 기반 특성 기여도를 활용하여 웨이블릿 도메인에서 웨이블릿 변환의 학습을 이끌어낸다.
• 이 방법은 웨이블릿 도메인에서의 기여도를 페널티로 삼아, 학습된 웨이블릿이 예측 관련 특징을 포착하도록 최적화한다.
• 신호 무결성과 해석 가능성을 유지하기 위해 복원 오차와 웨이블릿 제약 조건(예: 직교성, 다중 해상도 구조)을 강제한다.
• DNN의 기여도 맵을 감독 신호로 사용하여 웨이블릿 필터에 대해 경사 하강법을 수행한다.
• 결과적으로 단일층, 적응형, 학습 가능한 변환이 되며, 입력의 희박하고 다중 해상도 표현을 형성한다.
• 이 방법은 웨이블릿 활성화 맵의 시각화를 가능하게 하여 예측 정보가 입력에서 어디에 집중되어 있는지 정밀하게 파악할 수 있다.

실험 결과

연구 질문

• RQ1 딥 네럴 네트워크의 예측 지식을 해석 가능하고 원래 모델보다 더 효율적인 웨이블릿 변환으로 정련할 수 있는가?
• RQ2 기여도 신호를 활용하여 기존의 DNN를 기반으로 한 웨이블릿 기반 모델을 데이터 및 예측 작업에 어떻게 적응시킬 수 있는가?
• RQ3 AWD는 실제 과학 문제에서 과학적으로 의미 있는 특징(예: 천체물리학적 피크 또는 클라트린 역학)을 식별할 수 있는가?
• RQ4 정련된 웨이블릿 모델은 표준 웨이블릿이나 딥 네트워크보다 더 뛰어난 예측 성능과 압축률을 달성하는가?
• RQ5 기여도 기반 최적화를 사용할 경우, 웨이블릿 특징과 도메인 특화된 물리적 또는 생물학적 메커니즘 간의 일치성이 어떻게 향상되는가?

주요 결과

• AWD는 천체물리학적 파rameter 추론에서 RMSE 1.029 × 10⁻²를 기록하여 ResNet(1.156 × 10⁻²)과 표준 웨이블릿(1.569 × 10⁻²)을 모두 초월했다.
• AWD 웨이블릿 모델은 0.610의 압축률을 기록하여 DB5 웨이블릿(0.620)을 능가하며 더 효율적인 신호 표현을 가능하게 했다.
• 학습된 웨이블릿 필터는 대칭적이며 천체물리학에서 피크 탐지에 사용되는 매치드 필터와 유사하여 알려진 물리 원칙과 일치함을 보였다.
• 웨이블릿 활성화 맵은 AWD가 수렴도 맵의 고강도 피크에 집중하고 있음을 확인하여 천체물리학적 정보 내용에 대한 이론적 기대와 일치함을 입증했다.
• 분자 파트너 예측에서 AWD는 클라트린 역학을 예측 가능한 특징으로 식별하여 느린 축적과 붕괴의 알려진 생물학적 메커니즘과 일치했다.
• 두 과학 분야에서 AWD 모델은 표준 웨이블릿과 딥 네트워크 모두에 비해 간결하고 해석 가능하며 더 효율적인 대안을 제공했다.