[논문 리뷰] Predictive support recovery with TV-Elastic Net penalty and logistic regression: an application to structural MRI

Mathieu Dubois, Fouad Hadj‐Selem외 5명|arXiv (Cornell University)|2014. 07. 21.

Medical Image Segmentation Techniques참고 문헌 10인용 수 4

한 줄 요약

이 논문은 신경영상에서 공간적 일관성과 지지 복구를 향상시키기 위해 $\varepsilon_{1}$, $\varepsilon_{2}$ 및 총 변동(Total Variation, TV) 페널티를 조합한 새로운 최적화 프레임워크를 제안한다. 비연속적인 TV 페널티를 다루기 위해 네스테로프의 스무딩 기법을 사용하면서도 정확한 $\varepsilon_{1}$ 희박성은 유지함으로써 가속된 프oks성 경사 최적화를 가능하게 하여, 예측 정확도에 유의미한 향상 없이도 구조적 MRI에서 예측 가능한 뇌 영역의 우수한 지지 복구 성능을 입증한다.

ABSTRACT

The use of machine-learning in neuroimaging offers new perspectives in early diagnosis and prognosis of brain diseases. Although such multivariate methods can capture complex relationships in the data, traditional approaches provide irregular (l2 penalty) or scattered (l1 penalty) predictive pattern with a very limited relevance. A penalty like Total Variation (TV) that exploits the natural 3D structure of the images can increase the spatial coherence of the weight map. However, TV penalization leads to non-smooth optimization problems that are hard to minimize. We propose an optimization framework that minimizes any combination of l1, l2, and TV penalties while preserving the exact l1 penalty. This algorithm uses Nesterov's smoothing technique to approximate the TV penalty with a smooth function such that the loss and the penalties are minimized with an exact accelerated proximal gradient algorithm. We propose an original continuation algorithm that uses successively smaller values of the smoothing parameter to reach a prescribed precision while achieving the best possible convergence rate. This algorithm can be used with other losses or penalties. The algorithm is applied on a classification problem on the ADNI dataset. We observe that the TV penalty does not necessarily improve the prediction but provides a major breakthrough in terms of support recovery of the predictive brain regions.

연구 동기 및 목표

• 불규칙한 ($\ell_{2}$) 또는 산산이 흩어진 ($\ell_{1}$) 패atters로 인해 신경영상에서 예측 가중치 맵의 해석성이 떨어지는 문제를 해결하기 위해.
• 전체 변동(Total Variation, TV) 페널티를 통해 뇌 영상에서 예측 영역의 공간적 일관성을 향상시키기 위해.
• 비연속적인 TV 페널티를 다룰 수 있는 효율적인 최적화 알고리즘을 개발하여 정확한 $\ell_{1}$ 희박성을 유지함으로써 생물학적 마커 탐지 성능을 향상시키기 위해.
• ADNI 데이터셋을 활용하여 구조적 MRI에서 알츠하이머병 상태를 분류하기 위해 방법을 평가하기 위해.
• TV 정규화가 예측 정확도의 잠재적 트레이드오프에도 불구하고 생물학적으로 관련된 뇌 영역의 지지 복구를 향상시키는지 평가하기 위해.

제안 방법

• 희박성, 정규화 및 공간적 부드러움을 균형 있게 조절하기 위해 $\ell_{1}$, $\ell_{2}$ 및 TV 페널티를 조합한 로지스틱 회귀 문제를 설정한다.
• 비연속적인 TV 페널티를 부드러운 함수로 근사하기 위해 네스테로프의 스무딩 기법을 적용하여 기울기 기반 최적화를 가능하게 한다.
• 스무딩된 문제는 정확한 가속된 프oks성 경사 알고리즘(FISTA 스타일)을 사용해 최소화하여 빠른 수렴을 보장한다.
• 스무딩 매개변수 $\mu$를 점진적으로 감소시키는 연속성 알고리즘을 도입하여 고정밀도를 확보하면서도 최적의 수렴 속도를 유지한다.
• 알고리즘은 정확한 $\ell_{1}$ 프oks성 연산자를 유지하여 진정한 희박성을 확보하고, 수치적으로 스무딩을 통해 $\mathrm{TV}$ 프oks성 연산자를 근사한다.
• 이 프레임워크는 일반적이며, 선형 변환의 $p$-노름으로 표현 가능한 다른 미분 가능한 손실 함수와 비연속 페널티로도 확장 가능하다.

실험 결과

연구 질문

• RQ1 구조적 MRI에서 예측 가중치 맵의 공간적 일관성과 해석성을 향상시키기 위해 전체 변동(TV) 정규화를 통합할 경우 성능 향상이 이루어지는가?
• RQ2 TV 페널티의 스무딩 근사치를 정확한 $\ell_{1}$ 및 $\ell_{2}$ 페널티와 효과적으로 융합할 수 있는가?
• RQ3 제안된 최적화 프레임워크는 알츠하이머병과 관련된 알려진 뇌 해부학적 영역의 고정밀 지지 복구를 달성하는가?
• RQ4 TV 정규화를 사용할 경우 예측 정확도와 지지 복구 간에 트레이드오프가 발생하는가?
• RQ5 적응형 스무딩 매개변수를 갖는 연속성 알고리즘은 비연속 최적화에서 빠른 수렴과 고정밀도를 동시에 달성할 수 있는가?

주요 결과

• $\ell_{2}+\mathrm{TV}$ 페널티는 히포크라머스 및 후두엽 위축과 같은 알려진 알츠하이머병 관련 뇌 영역과 일치하는 부드럽고 공간적으로 일관성 있는 가중치 맵을 생성한다.
• $\ell_{1}+\ell_{2}+\mathrm{TV}$ 조합은 $\ell_{1}+\ell_{2}$보다 더 나은 지지 복구 성능을 보이며, 히포크라머스와 같은 핵심 영역을 식별하면서 덜 관련성이 있는 영역은 배제한다.
• $\ell_{1}+\mathrm{TV}$ 및 $\ell_{1}+\ell_{2}+\mathrm{TV}$ 방법은 거의 동일한 가중치 맵을 생성하여 $\ell_{1}$이 $\ell_{2}+\mathrm{TV}$ 패턴에 대한 선택기 역할을 한다는 것을 시사한다.
• 예측 정확도는 TV를 통한 유의미한 향상가 없었으며, $\ell_{2}+\mathrm{TV}$ 방법의 균형 분류율(BCR)은 0.784로 $\ell_{2}$(0.855) 및 $\ell_{1}+\ell_{2}$(0.772)와 유사했다.
• McNemar 검정 결과, $\ell_{2}+\mathrm{TV}$와 $\ell_{2}$ 간의 예측 성능에 유의미한 차이가 없었으며(p = 0.16), 그러나 $\ell_{1}+\mathrm{TV}$는 $\ell_{1}$보다 유의미하게 뛰어난 성능을 보였다(p = 2e-4).
• 알고리즘은 표준 워크스테이션에서 약 1시간 내에 수렴하였으며, 약 13,000회 FISTA 반복을 수행하였다.