[논문 리뷰] Reluctant Interaction Modeling

Guo Yu, Jacob Bien외 1명|arXiv (Cornell University)|2019. 07. 19.

Bioinformatics and Genomic Networks참고 문헌 51인용 수 11

한 줄 요약

이 논문은 예측 성능이 유사할 경우 상호작용보다 주효과를 우선시하는 계산적으로 효율적인 대규모 상호작용 모델링 방법인 sprinter를 소개한다. 유사한 예측 성능에서 상호작용을 포함하는 것에 대한 '게으름' 원칙(계층성 원칙을 강제하지는 않지만 주효과를 선호함)을 적용함으로써, sprinter는 최대 100억 개의 상호작용을 포함하는 희박한 상호작용 모델을 구축할 수 있으며, 단일 CPU에서 5중 교차검증을 7시간 이내에 완료하면서도 뛰어난 통계적 성능을 유지한다.

ABSTRACT

Including pairwise interactions between the predictors of a regression model can produce better predicting models. However, to fit such interaction models on typical data sets in biology and other fields can often require solving enormous variable selection problems with billions of interactions. The scale of such problems demands methods that are computationally cheap (both in time and memory) yet still have sound statistical properties. Motivated by these large-scale problem sizes, we adopt a very simple guiding principle: One should prefer main effects over interactions if all else is equal. This "reluctance" to interactions, while reminiscent of the hierarchy principle for interactions, is much less restrictive. We design a computationally efficient method built upon this principle and provide theoretical results indicating favorable statistical properties. Empirical results show dramatic computational improvement without sacrificing statistical properties. For example, the proposed method can solve a problem with 10 billion interactions with 5-fold cross-validation in under 7 hours on a single CPU.

연구 동기 및 목표

• 높은 차원 설정에서 전체 상호작용 모델을 피팅하는 데 있어 계산적으로 불가능한 문제를 해결하기 위해, 특히 유전체학 및 텍스트 분석에서의 적용을 고려한다.
• 주효과를 상호작용보다 명시적으로 선호하는 방법을 개발하여, 그 해석 가능성과 낮은 복잡도를 반영한다.
• 계층성 원칙에 의존하지 않고도 대규모 상호작용 모델링을 가능하게 한다.
• 주효과 모델만을 사용하는 것과 유사한 계산 효율성을 확보하면서도 예측 정확도를 유지한다.

제안 방법

• 다단계 걸러내기 프레임워크를 사용한다: 먼저 주효과만을 포함하는 모델을 피팅한 후, 잔차와의 상관관계를 기반으로 상호작용을 걸러낸다.
• 상호작용은 주효과만으로 달성할 수 있는 예측 성능을 뛰어나게 할 경우에만 선택된다.
• 모든 이원 상호작용을 저장하거나 명시적으로 계산하지 않으며, 대신 효율적인 상관관계 걸러내기 전략에 의존한다.
• 거짓 긍정을 제어하면서도 의미 있는 상호작용을 감지하는 데 민감도를 유지하기 위해 유연한 임계값 설정 전략을 사용한다.
• 메모리 및 시간 효율성을 고려하여 설계되어, 수십억 개의 잠재적 상호작용을 포함하는 문제에 스케일링 가능하다.
• 잔차의 재귀적 걸러내기를 통해 고차원 상호작용으로의 일반화가 가능하다.

실험 결과

연구 질문

• RQ1 간단하고 계산적으로 효율적인 방법이 대규모 데이터셋에서 표준 라소 기반 상호작용 모델링보다 뛰어난 성능을 낼 수 있는가?
• RQ2 예측 성능이 유사할 경우 상호작용을 포함하는 것에 대한 '게으름' 원칙이 주효과를 우선시함으로써 실용적이고 통계적으로 더 좋은 결과를 이끌어낼 수 있는가?
• RQ3 계층성 원칙에 의존하지 않고도 최대 100억 개의 상호작용을 포함하는 상호작용 모델을 대규모로 피팅할 수 있는가?
• RQ4 예측 오차와 계산 시간 측면에서 제안된 방법이 계층성 및 비계층성 대안과 비교해 어떻게 성능을 내는가?

주요 결과

• sprinter는 Tripadvisor 데이터셋에서 예측 RMSE 1.091을 기록하여 MEL(1.153)과 이단계 계층 라소(1.125)를 모두 뛰어넘었다.
• 메서드는 오직 304개의 주효과와 526개의 상호작용만을 선택하여 뛰어난 희박성와 함께 높은 예측 정확도를 유지함을 보였다.
• sprinter는 약 100억 개의 잠재적 상호작용을 포함하는 문제를 단일 CPU에서 5중 교차검증을 7시간 이내에 해결했다.
• 2000개의 주효과를 가진 문제에서 sprinter의 속도는 모든 이원 조합 라소(APL)보다 100배 빠르게 작동했다.
• awful × not 및 rude × but와 같은 상호작용의 계수 추정치는 기대하는 부정적 감성 조절 효과를 보였으며, 모델의 해석 가능성에 대한 검증을 제공했다.
• wonderful × superb 와 같은 상호작용의 음수 계수 추정치는 중복 초월어의 감소 효과를 반영하여 직관적인 의미적 행동을 확인함으로써 모델의 타당성을 뒷받침했다.