[논문 리뷰] On Symbolically Encoding the Behavior of Random Forests

Arthur Choi, Andy Shih외 2명|arXiv (Cornell University)|2020. 07. 03.

Adversarial Robustness in Machine Learning참고 문헌 23인용 수 19

한 줄 요약

이 논문은 랜덤 포레스트에 대해 정확한 프라임 임파리캔트(기본 인과) 계산을 가능하게 하는 타당하고 완전한 부울 인코딩을 제안한다. 이는 모델 결정을 설명하는 데 핵심적인 요소이다. 표준 인코딩(예: 원핫 인코딩)이 프라임 임파리캔트 추출에 사용될 경우 발생할 수 있는 함정을 밝히며, 일致성 제약 조건과 정확히 하나의 값만 참이 되도록 하는 제약 조건을 통해 부울 인코딩에서 다중값 프라임 임파리캔트를 유도하는 방법을 제안한다. 이는 설명 가능성 작업에서 정확성을 보장한다.

ABSTRACT

Recent work has shown that the input-output behavior of some machine learning systems can be captured symbolically using Boolean expressions or tractable Boolean circuits, which facilitates reasoning about the behavior of these systems. While most of the focus has been on systems with Boolean inputs and outputs, we address systems with discrete inputs and outputs, including ones with discretized continuous variables as in systems based on decision trees. We also focus on the suitability of encodings for computing prime implicants, which have recently played a central role in explaining the decisions of machine learning systems. We show some key distinctions with encodings for satisfiability, and propose an encoding that is sound and complete for the given task.

연구 동기 및 목표

• 이산 또는 이산화된 연속 입력을 가진 기계학습 모델에 대해 프라임 임파리캔트를 정확히 계산하는 데 도전하는 것.
• 결정 트리나 랜덤 포레스트와 같은 다중값 시스템에 적용될 때, 기존 부울 인코딩(특히 프라임 임파리캔트 계산에 있어서)의 한계를 밝히는 것.
• 다중값 논리의 의미를 부울 논리로 변환할 때도 유지할 수 있도록 타당하고 완전한 인코딩 방법을 개발하는 것.
• 부울 인코딩이 원래의 다중값 행동을 정확히 반영하도록 보장하여, 랜덤 포레스트 결정의 효과적인 설명을 가능하게 하는 것.
• 지식 컴파일 또는 SAT/SMT 솔버를 통한 확장 가능한 공식적 추론을 지원하기 위해 신뢰할 수 있는 인코딩 파이프라인을 제공하는 것.

제안 방법

• 이산 변수를 부울 변수로 표현하기 위해 고전적인 원핫 인코딩을 사용하여, 각 변수가 정확히 하나의 값을 가짐을 보장한다.
• 각 다중값 변수에 대해 정확히 하나의 부울 변수만 참이 되도록 보장하는 정확히 하나의 제약 조건(Ψ)을 구성한다.
• 결정 트리나 랜덤 포레스트의 입력-출력 행동을 부울 표현식(Δb)으로 인코딩하여, 리터럴의 논리적 AND와 OR로 구성된 함수를 표현한다.
• Ψ ⇒ Δb의 프라임 임파리캔트를 계산한 후, 음성(부정)이면서 Ψ와 일치하는 것들만 필터링하여 유효한 다중값 프라임 임파리캔트를 복원한다.
• 최종 부울 표현식을 기반으로 기존의 SAT 또는 지식 컴파일 도구(예: OBDD)를 활용하여 효율적인 추론과 설명을 지원한다.
• 유도된 부울 프라임 임파리캔트가 원래 시스템의 다중값 프라임 임파리캔트와 정확히 일치함을 증명함으로써 정확성을 확보한다.

실험 결과

연구 질문

• RQ1 표준 부울 인코딩은 이산 또는 이산화된 연속 입력에 대해 모델 설명을 위한 프라임 임파리캔트 계산을 정확히 지원할 수 있는가?
• RQ2 다중값 시스템에서 만족도 인코딩과 프라임 임파리캔트 계산 인코딩 간의 핵심 차이점은 무엇인가?
• RQ3 어떻게 하면 다중값 결정 함수를 부울 표현식으로 변환하여, 그 프라임 임파리캔트가 원래 함수의 진짜 프라임 임파리캔트를 반영하도록 할 수 있는가?
• RQ4 거짓 긍정 또는 거짓 부정을 유발하지 않고, 부울 인코딩에서 다중값 프라임 임파리캔트를 체계적으로 추출할 수 있는 방법이 있는가?
• RQ5 제안된 인코딩은 트랙터블 부울 회로나 SAT 솔버와 효과적으로 결합되어 설명 가능성 AI에 활용될 수 있는가?

주요 결과

• 표준 원핫 인코딩은 만족도에 대해서는 타당하지만, 상호 배타성(서로 다른 값이 동시에 참이 되지 않도록)을 보장하지 못하기 때문에, 직접적으로 설명에 사용될 경우 잘못된 프라임 임파리캔트를 생성할 수 있다.
• 정확히 하나의 제약 조건을 사용하고 부울 프라임 임파리캔트를 필터링하는 제안된 방법은 유효하고 일관되며 음성인 프라임 임파리캔트만 유지함으로써 타당성과 완전성을 확보한다.
• Ψ ⇒ Δb에서 유도된 프라임 임파리캔트 중 음성이고 Ψ와 일치하는 항들만 선택하면, 원래의 결정 함수의 다중값 프라임 임파리캔트와 정확히 일치한다.
• 기존의 설명 파이프라인(예: OBDD로의 지식 컴파일 또는 SMT 솔버 기반 파이프라인)과 호환되어, 랜덤 포레스트 결정의 효율적이고 정확한 설명이 가능하다.
• 이 방법은 랜덤 포레스트를 초월하여, 결정 경로를 논리적 표현식으로 인코딩할 수 있는 이산 또는 이산화된 연속 입력을 가진 모든 시스템에 일반화 가능하다.
• 기존의 접근 방식이 간단한 인코딩에 직접 프라임 임파리캔트 계산을 적용함으로써 심각한 결함을 유발하는 것을 시정함으로써, 설명 가능성 AI에서 부울 추론 도구를 사용하기 위한 공식적 기반을 제공한다.