[논문 리뷰] LCS-DIVE: An Automated Rule-based Machine Learning Visualization Pipeline for Characterizing Complex Associations in Classification

Robert Zhang, Rachael Z. Stolzenberg‐Solomon외 2명|arXiv (Cornell University)|2021. 04. 26.

Evolutionary Algorithms and Applications참고 문헌 41인용 수 5

한 줄 요약

LCS-DIVE는 복잡한 다변량 연관성—예를 들어 상위상호작용 및 이질성—을 생물의학 분류에서 해석하기 위해 ExSTraCS의 특징 추적 점수를 활용하는 자동화된 규칙 기반 기계학습 파이프라인이다. 클러스터링, 시각화 및 하위군 특성 분석을 통해 글로벌 모델 해석을 가능하게 하여 시뮬레이션 및 실제 췌장암 데이터에서 연관 패턴을 구분하는 데 뛰어난 성능을 보였다.

ABSTRACT

Machine learning (ML) research has yielded powerful tools for training accurate prediction models despite complex multivariate associations (e.g. interactions and heterogeneity). In fields such as medicine, improved interpretability of ML modeling is required for knowledge discovery, accountability, and fairness. Rule-based ML approaches such as Learning Classifier Systems (LCSs) strike a balance between predictive performance and interpretability in complex, noisy domains. This work introduces the LCS Discovery and Visualization Environment (LCS-DIVE), an automated LCS model interpretation pipeline for complex biomedical classification. LCS-DIVE conducts modeling using a new scikit-learn implementation of ExSTraCS, an LCS designed to overcome noise and scalability in biomedical data mining yielding human readable IF:THEN rules as well as feature-tracking scores for each training sample. LCS-DIVE leverages feature-tracking scores and/or rules to automatically guide characterization of (1) feature importance (2) underlying additive, epistatic, and/or heterogeneous patterns of association, and (3) model-driven heterogeneous instance subgroups via clustering, visualization generation, and cluster interrogation. LCS-DIVE was evaluated over a diverse set of simulated genetic and benchmark datasets encoding a variety of complex multivariate associations, demonstrating its ability to differentiate between them and then applied to characterize associations within a real-world study of pancreatic cancer.

연구 동기 및 목표

• 기존의 투명성이 부족한 블랙박스 기계학습 방법이 부족한 복잡하고 노이즈가 많으며 이질적인 생물의학 분류 모델을 해석하는 데 도전하는 문제를 해결하기 위해.
• 개별 예측을 넘어서 특징 중요도, 상호작용 패턴 및 하위군 이질성에 중점을 두어 글로벌 모델 행동을 특성화하는 자동화된 파이프라인을 개발하기 위해.
• 규칙 기반 모델의 시각적 및 계산적 탐색을 통해 성별 기반 하위군이나 다변량 상위상호작용 효과와 같은 생물학적으로 타당한 연관성을 발견할 수 있도록 연구자들이 지원되도록 하기 위해.
• 규칙 기반 학습과 특징 추적 점수를 융합하여 확장 가능하고 인간이 읽을 수 있는 통찰을 제공함으로써 기계학습의 해석 가능성과 지식 발견을 향상시키기 위해.
• 파이프라인의 단일 변수, 덧셈형, 상위상호작용형, 이질성 연관 패턴을 시뮬레이션 및 실제 데이터 세트에서 구분하는 능력을 평가하기 위해.

제안 방법

• 노이즈가 많고 고차원적인 생물의학 데이터를 위한 목적에 맞게 설계된 규칙 기반 학습 분류기 시스템인 ExSTraCS의 scikit-learn 호환 구현을 사용한다.
• 각 특징이 개별 학습 샘플에 기여하는 정도를 정량화하기 위해 특징 추적(FT) 점수를 활용하여 국소적 및 글로벌 해석 가능성을 가능하게 한다.
• FT 점수 서명의 자동 클러스터링을 적용하여 고유한 특징 중요도 패턴을 가진 구분 가능한 인스턴스 하위군을 식별한다.
• FT 클러스터맵 및 규칙 네트워크 다이어그램과 같은 시각화를 생성하여 모델 해석 및 하위군 탐색을 지원한다.
• 규칙 집단 분석과 FT 점수 분석을 통합하며, 더 명확하고 세밀한 모델 행동 통찰을 얻기 위해 후자를 우선시한다.
• 네 단계 파이프라인을 적용한다: (1) ExSTraCS를 통한 모델 학습, (2) FT 점수 추출, (3) 클러스터링 및 시각화, (4) 클러스터 수준의 탐색을 통해 생물학적으로 의미 있는 하위군을 구분한다.

실험 결과

연구 질문

• RQ1 LCS-DIVE는 복잡한 생물의학 데이터에서 단일 변수, 덧셈형, 상위상호작용형, 이질성 연관 패턴을 신뢰성 있게 구분할 수 있는가?
• RQ2 기존의 규칙 집단 분석에 비해 특징 추적 점수 서명은 다변량 연관성을 포착하고 시각화하는 데 얼마나 효과적인가?
• RQ3 LCS-DIVE는 실제 데이터 세트—예를 들어 췌장암—에서 특징 중요도 패턴이 뚜렷한 생물학적으로 관련성이 있는 인스턴스 하위군을 식별하고 특성화할 수 있는가?
• RQ4 노이즈가 많거나 고차원적인 데이터에서 파이프라인이 순수한 상위상호작용 또는 이질성 연관성을 탐지하는 데 얼마나 잘 작동하는가?
• RQ5 FT 클러스터맵은 실제 응용에서 가설 생성 및 후속 생물학적 조사에 얼마나 효과적으로 안내할 수 있는가?

주요 결과

• LCS-DIVE는 청소된 데이터와 노이즈가 있는 벤치마크 및 시뮬레이션 데이터 세트에서 단일 변수, 덧셈형, 상위상호작용형, 이질성 연관 패턴을 성공적으로 구분했다.
• 특징 추적 점수 서명은 특히 복잡한 패턴을 식별하는 데 있어 규칙 집단 분석에 비해 더 명확하고 신뢰할 수 있는 시각화를 제공했다.
• 췌장암 데이터세트(P1)에서 성별과 가족력이 지배적인 대규모 클러스터(통제자 99% 이상, 남성 99.11%)를 식별하여 성별 기반 이질성 효과를 시사했다.
• P2 데이터세트에서는 성별과 인종 이후에 총 칼로리, 지방 및 칼슘 섭취량과 같은 식이 변수들이 보조적 중요도 특징으로 나타나 위험 예측에서의 잠재적 역할을 시사했다.
• 파이프라인은 FT 점수 서명의 클러스터링을 통해 기저의 이질성 있는 하위군을 성공적으로 재현하였으며, 클러스터 간 특징 중요도 패턴이 뚜렷하게 구분되었다.
• 실제 데이터 적용을 통해 성별 기반 이질성과 다변량 덧셈형 효과가 가능하게 드러나 파이프라인의 생물학적으로 타당한 가설 생성 능력을 입증했다.