[논문 리뷰] Functional Transparency for Structured Data: a Game-Theoretic Approach

Guang-He Lee, Wengong Jin외 2명|arXiv (Cornell University)|2019. 02. 26.

Machine Learning in Materials Science인용 수 4

한 줄 요약

이 논문은 구조적 데이터로 훈련된 신경망 모델에서 功能적 투명성(functional transparency)을 달성하기 위한 게임 이론적 프레임워크를 제안한다. 여기서는 유연한 예측기와 지역적으로 해석 가능한 증인들(예: 의사결정나무 또는 선형 함수)을 함께 훈련시켜 국소적으로 일관된 행동을 보장하면서도 전역적 표현 능력을 손상시키지 않는다. 이 방법은 그래프, 시퀀스, 분자 표현 학습 작업에서 모델의 설명 가능성과 안정성을 향상시키며, 정밀도와 예측 성능 모두에서 경험적 성과를 거두었다.

ABSTRACT

We provide a new approach to training neural models to exhibit transparency in a well-defined, functional manner. Our approach naturally operates over structured data and tailors the predictor, functionally, towards a chosen family of (local) witnesses. The estimation problem is setup as a co-operative game between an unrestricted predictor such as a neural network, and a set of witnesses chosen from the desired transparent family. The goal of the witnesses is to highlight, locally, how well the predictor conforms to the chosen family of functions, while the predictor is trained to minimize the highlighted discrepancy. We emphasize that the predictor remains globally powerful as it is only encouraged to agree locally with locally adapted witnesses. We analyze the effect of the proposed approach, provide example formulations in the context of deep graph and sequence models, and empirically illustrate the idea in chemical property prediction, temporal modeling, and molecule representation learning.

연구 동기 및 목표

• 복잡한 딥러닝 모델, 특히 그래프와 시퀀스와 같은 구조적 데이터에 대해 설명 가능성이 부족한 문제를 해결하기 위해.
• 전역적 모델 용량을 유지하면서도 국소적 기능적 일관성(예: 선형성 또는 서브스트럭처 기반 행동)을 보장하는 방법을 개발하기 위해.
• 후행적 해석에 의존하는 것이 아니라, 훈련 단계에서의 정규화 전략을 통해 모델이 투명하고 국소적으로 해석 가능한 행동을 유도하기 위해.
• 협동 게임 설정에서 신경 예측기와 해석 가능한 증인들을 함께 최적화하여 안정적이고 일반화 가능한 국소적 해석을 가능하게 하기 위해.

제안 방법

• 신경 예측기와 사전 정의된 가족(예: 의사결정나무, 선형 함수)에서 온 해석 가능한 증인들의 집합과의 협동 게임으로 모델 투명성을 공식화한다.
• 예측기와 증인 간의 국소 이웃 영역에서의 차이를 벌리지 않도록 하는 손실 함수를 사용하여 기능적 일치를 장려한다.
• 다양분가능성( differentiability )이 필요 없이 국소적 증인 추정(예: 의사결정나무)을 이웃 데이터에 적용하여 투명성 제약 조건을 정의한다.
• 예측 정확도와 투명성 사이의 균형을 맞추기 위해 게임 계수 λ를 도입하며, 훈련을 위한 대칭 및 비대칭 게임 변형을 제공한다.
• 국소적 증인 피팅을 통해 설명 가능성을 확보하기 위해, 딥 그래프 네트워크, 시퀀스 모델, 분자용 변동형 오토인코더에 이 프레임워크를 적용한다.
• 국소적 기능 일치를 측정하고 테스트 중 평가하기 위해 이심 손실(예: KL 발산 또는 RMSE)을 사용한다.

실험 결과

연구 질문

• RQ1 신경망 모델이 전역적으로 강력한 능력을 유지하면서도 국소적으로 해석 가능한 행동(예: 선형성 또는 서브스트럭처 기반 결정)을 보일 수 있는가?
• RQ2 예측기와 해석 가능한 증인들 간의 게임 이론적 공동 훈련이 모델의 안정성과 국소적 해석의 정밀도에 어떤 영향을 미치는가?
• RQ3 게임 계수 λ가 예측 정확도와 기능적 투명성 사이의 트레이드오프에 미치는 영향은 무엇인가?
• RQ4 이러한 방법은 후행적 해석 방법과 비교해 볼 때 국소 영역 간의 일관성과 일반화 능력에서 어떤 차이를 보이는가?
• RQ5 이 프레임워크는 설명 가능성이 미흡한 분자, 시간적 시퀀스, 그래프와 같은 구조적 데이터에 효과적으로 적용될 수 있는가?

주요 결과

• ZINC 데이터셋에서 게임 모델는 ELBO 성능(-21.5)에서 딥 모델(-21.6)을 앞서며, 이는 국소적 기능 일치가 향상되었음을 시사한다. 이는 이심(3.98 vs. 4.64)이 유의미하게 낮아졌다는 점에서 뒷받질린다.
• 시간적 모델링에서 λ를 증가시킬수록 투명성(낮은 이심 및 TV)이 향상되지만 오차는 증가한다. 그러나 λ=0.1은 λ=0보다 더 높은 정확도를 기록하여 정규화의 이점이 있음을 보여준다.
• 게임 모델은 안정적이고 일반화 가능한 국소적 의사결정나무를 생성하였으며, 서브스트럭처 기반 분할이 일관되게 이루어졌지만, 정규화되지 않은 모델은 불안정하고 샘플 기반의 나무를 생성하여 일반화 능력이 열악했다.
• 비대칭 게임 변형은 대칭 변형(14.6 건/초) 대비 더 효율적(20.6 건/초)이었으며, 성능은 유사하여 실용적 이점이 있음을 시사한다.
• 분자 표현 작업에서 증인들은 주로 사이드 체인의 서브스트럭처를 선택하여, 잠재 공간의 변동이 스케일드 수준의 변화가 아니라 국소적 분자 변화를 반영한다는 점을 확인하였다.
• 시각화 결과, 게임 모델의 선형 가중치는 영역 간에 안정적으로 유지되었지만, 딥 모델은 더 많은 바이어스에 의존하여 설명 가능성의 신뢰도가 떨어지는 것으로 나타났다.