[논문 리뷰] Purifying Interaction Effects with the Functional ANOVA: An Efficient Algorithm for Recovering Identifiable Additive Models

Benjamin J. Lengerich, Sarah Tan외 3명|arXiv (Cornell University)|2019. 11. 12.

Fault Detection and Control Systems참고 문헌 44인용 수 8

한 줄 요약

이 논문은 기능 ANOVA 분해를 사용하여 추가 모델 내 상호작용 효과를 정제하는 새로운 정확한 알고리즘을 제안한다. 이는 상호작용에만 기인하는 분산을 고립시켜 식별 불가 문제를 해결한다. 방법은 조각별로 일정한 모델(예: 트리 기반)을 표준형으로 변환하여, 이전에 주 효과와 상호작용 효과를 해석할 때 임의로 분산이 재분배되어 잘못된 해석이 가능하다는 점을 드러낸다.

ABSTRACT

Models which estimate main effects of individual variables alongside interaction effects have an identifiability challenge: effects can be freely moved between main effects and interaction effects without changing the model prediction. This is a critical problem for interpretability because it permits "contradictory" models to represent the same function. To solve this problem, we propose pure interaction effects: variance in the outcome which cannot be represented by any smaller subset of features. This definition has an equivalence with the Functional ANOVA decomposition. To compute this decomposition, we present a fast, exact algorithm that transforms any piecewise-constant function (such as a tree-based model) into a purified, canonical representation. We apply this algorithm to Generalized Additive Models with interactions trained on several datasets and show large disparity, including contradictions, between the effects before and after purification. These results underscore the need to specify data distributions and ensure identifiability before interpreting model parameters.

연구 동기 및 목표

• 예측값에 영향을 주지 않고 주 효과와 상호작용 효과가 임의로 재분배될 수 있는 추가 모델의 근본적인 식별 불가 문제를 해결한다.
• 특히 트리 기반 모델에서 발생하는 모델 효과에 대한 모순된 해석을 제거하기 위해 '순수한' 상호작용 효과를 정의하고 계산한다.
• 조각별로 일정한 함수에 대해 기능 ANOVA 분해를 정확하고 효율적으로 계산할 수 있는 정확한 알고리즘을 개발한다. 이를 통해 모델 효과의 표준형 표현이 가능해진다.
• 모델의 해석이 데이터 분포와 추정 절차에 매우 민감함을 입증하며, 따라서 해석 이전에 정제가 필수적임을 보여준다.
• 정제 이전에 주 효과와 상호작용 효과가 크게 왜곡될 수 있음을 드러내며, 이는 기계학습에서 모델의 해석 가능성과 공정성에 중대한 영향을 미친다.

제안 방법

• 기능 ANOVA(fANOVA) 분해와 일치시키기 위해, 어떤 주 효과의 부분집합으로도 설명할 수 없는 분산으로 순수한 상호작용 효과를 정의한다.
• 트리 기반 모델에서 생성된 바와 같이 조각별로 일정한 함수에 대해 fANOVA 분해를 정확하고 신속하게 계산할 수 있는 알고리즘을 제안한다.
• 주어진 상호작용이 포함된 추가 모델을 주 효과와 상호작용 효과가 상호 수직이고 식별 가능한 표준형으로 변환한다.
• 알고리즘을 사용해 실제 데이터셋에 학습된 모델을 재표현하여, 원래의 효과 추정치가 주 효과와 상호작용 신호를 혼합하고 있음을 드러낸다.
• 이전 연구의 자료 생성기(예: 유전자 상호작용 연구)에 정제를 적용하여, 정제 이전과 이후에 주 효과 강도가 크게 달라짐을 보였다.
• 정제된 형태를 사용해 랜덤 포레스트와 같은 모델의 인덕티브 편향을 분석하여, 주 효과가 강할 경우 상호작용을 더 선호한다는 것을 입증했다.

실험 결과

연구 질문

• RQ1 표준적인 상호작용이 포함된 추가 모델이 식별 불가로 인해 모순된 해석을 얼마나 많이 초래하는가?
• RQ2 트리 앙상블 같은 조각별로 일정한 모델에 대해 주 효과와 상호작용 효과의 표준형이고 식별 가능한 분해를 정확하게 계산할 수 있는가?
• RQ3 데이터 분포와 모델 추정 절차가 정제 이전과 이후에 주 효과와 상호작용 효과의 해석에 어떤 영향을 미치는가?
• RQ4 정제가 실제 및 시뮬레이션 데이터셋에서 상호작용 효과의 강도와 구조에 어떤 영향을 미치는가?
• RQ5 정제 과정을 통해 이전에 상호작용 항목에 의해 가려졌던 주 효과의 숨겨진 분산이 드러나며, 이는 정규화를 통한 강인성 향상에 기여할 수 있는가?

주요 결과

• 동일한 함수는 예측값은 동일하지만 서로 다른 해석을 가진 여러 추가 모델로 표현될 수 있으며, 이는 불리너 및 연속 변수에서 입증되었다.
• 불리너 변수에서 'AND' 및 'OR' 연산의 상호작용 효과는 중심화된 XOR 상호작용에 주 효과가 영향을 주는 것으로 동일하며, 이는 이들이 별개의 상호작용 유형이 아니라는 것을 증명한다.
• 정제 후 '상호작용 우세' 유전자 상호작용 모델의 주 효과는 '상호작용 전용' 모델보다 세 배 강하다. 이는 상호작용 강도는 동일하지만 주 효과가 크게 달라짐을 의미한다.
• '상호작용 없음' 모델은 정제 후에도 여전히 비영인 주 효과를 보이며, 이는 원래 모델이 상호작용의 부재를 잘못 표현하고 있음을 시사한다.
• 정제 과정을 통해 이전에 상호작용에 의해 가려졌던 주 효과의 고분산이 드러나며, 이는 사후 정규화를 통해 감소시킬 수 있어 해석 가능성 향상과 시험 정확도 향상에 기여할 수 있다.
• 랜덤 포레스트 모델은 주 효과가 강할 경우 상호작용을 우선적으로 복구하는 경향이 있으며, 이는 정제된 자료 생성기를 통해 확인되었다. 이는 모델의 인덕티브 편향이 효과의 구조에 따라 달라짐을 보여준다.