[논문 리뷰] Interpreting Neural Network Judgments via Minimal, Stable, and Symbolic Corrections

Xin Zhang, Armando Solar-Lezama외 1명|arXiv (Cornell University)|2018. 02. 21.

Data Visualization and Analytics인용 수 10

한 줄 요약

이 논문은 ReLU 활성화를 갖는 신경망에 대해 최소 크기, 안정적이고 기호적인 수정을 생성하는 첫 번째 알고리즘인 Polaris를 제안한다. 이는 모델이 바람직하지 않은 판단을 내릴 경우 실질적인 피드백을 제공할 수 있도록 한다. Gurobi를 통해 일련의 선형 제약 만족 문제를 해결함으로써, 입력 공간 내에서 작은 변화가 원하는 출력 변화로 이어지는 기호적 영역을 식별한다. 이로 인해 실제 모델에서 평균 12분 이내의 수정 시간을 달성한다.

ABSTRACT

We present a new algorithm to generate minimal, stable, and symbolic corrections to an input that will cause a neural network with ReLU activations to change its output. We argue that such a correction is a useful way to provide feedback to a user when the network's output is different from a desired output. Our algorithm generates such a correction by solving a series of linear constraint satisfaction problems. The technique is evaluated on three neural network models: one predicting whether an applicant will pay a mortgage, one predicting whether a first-order theorem can be proved efficiently by a solver using certain heuristics, and the final one judging whether a drawing is an accurate rendition of a canonical drawing of a cat.

연구 동기 및 목표

• 딥러닝 모델이 바람직하지 않은 이진 판단을 내릴 경우 실질적인 피드백이 부족한 문제를 해결하기 위해, 특히 대출 승인이나 채용과 같은 고위험 분야에서 적용 가능하다.
• 입력에 대한 작은 변화(최소 크기), 작은 변동에 대해 안정적인(강건한), 그리고 특성 간의 관계를 표현하는 기호적(기호적)인 수정을 생성하는 방법을 개발하기 위해.
• 단순히 특성 기여도나 프로토타입을 제공하는 것 외에, 사용자가 이해하고 행동할 수 있는 통찰을 제공하기 위해, 예를 들어 'DTI를 10% 낮추면 대출이 승인되었을 것이다'와 같은 해석 가능한, 실질적인 피드백을 제공하기 위해.
• 모르지 대출 심사, 정리 증명, 그리고 그림 인식과 같은 실제 모델에 대해 평가하여 다양한 분야에서 실용적인 유용성을 입증한다.

제안 방법

• 알고리즘은 ReLU 네트워크의 조각별 선형 성질을 활용하여 수정 생성 문제를 일련의 선형 제약 만족 문제로 재구성한다.
• Gurobi 선형 프로그래밍 솔버를 사용하여, 원하는 출력 변화로 이어지는 최소한의 변화가 가능한 입력 공간 내의 타당 영역을 찾는다.
• 원래 입력에 가장 가까운 영역부터 우선순위를 두며, 안정성과 기호적 표현력을 유지하면서 후보 수정 영역을 점진적으로 탐색한다.
• 네트워크 출력에 미치는 영향을 기반으로 입력 특성을 동적으로 선택하여 수정 대상으로 삼고, 탐색을 이끄는 생성 전략을 사용한다.
• 입력 변수에 대한 선형 부등식으로 정의된 초직사각형 또는 다면체 영역을 식별함으로써 기호적 수정을 보장한다.
• 해당 영역의 수를 제한하고 LP 솔버를 위한 인스턴스 생성을 최적화함으로써 탐색과 효율성의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 신경망이 특정 판단을 내린 이유를 설명할 수 있는 최소 크기, 안정적이고 기호적인 수정을 자동으로 생성할 수 있는가?
• RQ2 어떻게 하면 수정이 실질적인(최소 크기)이면서도 작은 입력 변동에 대해 강건한(안정적)이도록 보장할 수 있는가?
• RQ3 입력 특성 간의 관계를 표현하는 기호적 수정은 단일 점 또는 특성별 피드백보다 사용자 이해도를 얼마나 향상시킬 수 있는가?
• RQ4 실제 판단 작업에서 다양한 네트워크 아키텍처와 입력 차원에 대해 알고리즘이 어떻게 스케일링되는가?
• RQ5 고차원 또는 연속적인 입력 공간에서 격자 기반 샘플링에 비해 이 방법이 우수한가?

주요 결과

• 작지만 현실적인 신경망에서 평균적으로 12분 이내에 기호적 수정을 생성하여 실용적인 타당성을 입증한다.
• 모르지 대출 심사 모델에서, 102초 내에 부피가 2.4 단위인 수정 영역을 발견했으며, 인스턴스당 실제 해결에 소요된 시간은 1ms 뿐이었다.
• 그림 인식에서 최대 20개의 특성으로 고차원 입력을 처리한 결과, 해결 시간은 7ms로 증가하여 입력 크기 증가에 대해 양호한 확장성을 보였다.
• 격자 기반 샘플링보다 크게 우수한 성능을 보였으며, 20개 특성에 각각 3개 값이 있는 경우 약 30억 개의 샘플이 필요해 실현 불가능한 수준이었다.
• 실행 시간의 대부분(98% 이상)은 LP 인스턴스 생성에 소요되었으며, 이는 저수준 언어 바인딩을 통해 최적화 가능성을 시사한다.
• 정리 증명 및 그림 인식에서 알고리즘이 최대 영역 수(m=1000)에 도달하여 복잡한 도메인에서도 높은 탐색 효율성을 보였다.