[논문 리뷰] Quantifying Statistical Significance of Neural Network-based Image Segmentation by Selective Inference

Vo Nguyen Le Duy, Shogo Iwazaki외 1명|arXiv (Cornell University)|2020. 10. 05.

Machine Learning and Data Classification참고 문헌 34인용 수 6

한 줄 요약

이 논문은 딥 뉴럴 네트워크(DNN) 기반 영상 분할 결과의 통계적 유의성을 정량화하기 위해 정확한 비점근적 p-값을 계산함으로써 조건부 선택적 추론(SI) 프레임워크를 제안한다. DNN에서 발생하는 복잡한 선택 이벤트를 다루기 위해 호모토피 기반 알고리즘을 사용하여, 높은 통계적 검정력과 함께 거짓 양성 비율(FPR)을 제어함으로써 의료 영상과 같은 고위험 응용 분야에서 신뢰할 수 있는 추론을 가능하게 한다.

ABSTRACT

Although a vast body of literature relates to image segmentation methods that use deep neural networks (DNNs), less attention has been paid to assessing the statistical reliability of segmentation results. In this study, we interpret the segmentation results as hypotheses driven by DNN (called DNN-driven hypotheses) and propose a method by which to quantify the reliability of these hypotheses within a statistical hypothesis testing framework. Specifically, we consider a statistical hypothesis test for the difference between the object and background regions. This problem is challenging, as the difference would be falsely large because of the adaptation of the DNN to the data. To overcome this difficulty, we introduce a conditional selective inference (SI) framework -- a new statistical inference framework for data-driven hypotheses that has recently received considerable attention -- to compute exact (non-asymptotic) valid p-values for the segmentation results. To use the conditional SI framework for DNN-based segmentation, we develop a new SI algorithm based on the homotopy method, which enables us to derive the exact (non-asymptotic) sampling distribution of DNN-driven hypothesis. We conduct experiments on both synthetic and real-world datasets, through which we offer evidence that our proposed method can successfully control the false positive rate, has good performance in terms of computational efficiency, and provides good results when applied to medical image data.

연구 동기 및 목표

• 의료 진단과 같은 고위험 응용 분야에서 DNN 기반 영상 분할에 대한 통계적 신뢰성 평가의 부재를 해결하기 위해.
• 데이터를 분할 및 가설 검정에 모두 사용하는 '이중 사용(dual-dipping)' 문제를 해결하기 위해.
• DNN 기반 분할 가설에 대해 유효하고 점근적이지 않은 통계적 추론 프레임워크를 개발하기 위해.
• 딥 뉴럴 네트워크에 의해 유도된 복잡한 데이터 기반 선택 이벤트 하에서 분할 결과에 대한 정확한 p-값 계산을 가능하게 하기 위해.
• 실제 및 시뮬레이션 분할 작업에서 거짓 양성 비율(FPR) 제어를 보장하기 위해.

제안 방법

• 분할 선택 이벤트를 조건으로 삼는 조건부 선택적 추론(SI) 프레임워크를 도입하여 정확한 표본 분포 유도를 가능하게 한다.
• DNN의 조각별 선형 연산(예: ReLU, 컨볼루션, 맥스 풀링)을 처리하기 위해 새로운 호모토피 방법을 개발하여 선택 이벤트를 효율적으로 계산한다.
• DNN의 선택 이벤트를 데이터 공간 내 선형 부등식의 집합으로 특성화함으로써 조건부 표본 분포를 통한 정확한 추론를 가능하게 한다.
• 시험 통계량의 방향을 따라 활성화된 뉴런의 집합을 추적하기 위해 호모토피 방법을 적용하여 모든 조합의 전수 조사 비용을 피한다.
• 시험 통계량의 정확한 조건부 분포를 사용하여 모델 복잡성과 선택 편향에 강건한 유효한 p-값을 계산한다.
• 표준 CNN에 대해 이 방법을 구현하고, 컨볼루션, 맥스 풀링, ReLU와 같은 일반적인 연산에 적용 가능함을 보여준다.

실험 결과

연구 질문

• RQ1 선택적 추론이 DNN 기반 영상 분할에 효과적으로 적용되어 분할 결과의 통계적 유의성을 정량화할 수 있는가?
• RQ2 복잡한 딥 뉴럴 네트워크에 의해 선택된 가설에 대해 정확하고 점근적이지 않은 p-값을 어떻게 계산할 수 있는가?
• RQ3 제안된 호모토피 기반 SI 방법이 영상 분할 작업에서 유효한 제1종 오류 제어(FPR)를 유지하는가?
• RQ4 제안된 방법은 난이도 높은 p-값과 순열 검정에 비해 검정력과 계산 효율성 측면에서 어떻게 비교되는가?
• RQ5 실제 분할 데이터를 다룰 수 있도록 이 방법을 확장할 수 있으며, 통계적 타당성을 유지할 수 있는가?

주요 결과

• 제안된 방법은 라플라스, 비대칭 정규, 스튜던트의 t-분포 등 다양한 분포에서 노미널 수준(α = 0.05 및 α = 0.1)에서 거짓 양성 비율(FPR)을 성공적으로 제어한다.
• 호모토피 방법은 과잉 조건화 기반선보다 더 높은 진짜 양성 비율(TPR)을 달성하여 통계적 검정력 향상을 입증한다.
• 공분산 행렬을 데이터로부터 추정할 경우에도 FPR 제어를 유지하여 모델 가정에 대한 강건성을 보여준다.
• 뇌 종양 데이터셋에서 제안된 방법은 FPR이 0.057을 기록하여 순열 검정의 신뢰할 수 없는 0.640보다 유의미하게 낮게 나타났다.
• 나이브 p-값은 진짜 양성과 거짓 양성 탐지 간의 구분에 실패한 반면, 선택적 p-값은 둘 다 정확히 식별했다.
• 호모토피 방법의 계산 효율성은 데이터 차원에 대해 거의 선형적으로 증가하여 활성화 패턴의 전수 조사 비용을 피한다.