[논문 리뷰] Dimensionality Reduction and Classification Feature Using Mutual Information Applied to Hyperspectral Images: A Wrapper Strategy Algorithm Based on Minimizing the Error Probability Using the Inequality of Fano

Elkebir Sarhrouni, Ahmed Hammouch외 1명|arXiv (Cornell University)|2012. 10. 31.

Remote-Sensing Image Classification참고 문헌 10인용 수 6

한 줄 요약

이 논문은 상호정보량과 패러노의 부등식을 사용하여 분류 오류 확률을 최소화하는 워퍼 기반 특성 선택 알고리즘을 제안한다. 오류 확률을 의미적으로 감소시키는 밴드만 유지하기 위해 임계값을 도입한다. 이 방법은 AVIRIS 92AV3C 데이터셋에서 단 18개의 밴드로도 90%의 분류 정확도를 달성하며, 유용한 부복을 유지하면서 해로운 부복을 제거함으로써 기존의 상호정보량 기반 방법보다 뛰어난 성능을 보인다.

ABSTRACT

In the feature classification domain, the choice of data affects widely the results. For the Hyperspectral image, the bands dont all contain the information; some bands are irrelevant like those affected by various atmospheric effects, see Figure.4, and decrease the classification accuracy. And there exist redundant bands to complicate the learning system and product incorrect prediction [14]. Even the bands contain enough information about the scene they may can't predict the classes correctly if the dimension of space images, see Figure.3, is so large that needs many cases to detect the relationship between the bands and the scene (Hughes phenomenon) [10]. We can reduce the dimensionality of hyperspectral images by selecting only the relevant bands (feature selection or subset selection methodology), or extracting, from the original bands, new bands containing the maximal information about the classes, using any functions, logical or numerical (feature extraction methodology) [11][9]. Here we focus on the feature selection using mutual information. Hyperspectral images have three advantages regarding the multispectral images [6],

연구 동기 및 목표

• 고차원의 고분광 데이터에서 부복되고 노이즈가 많은 밴드가 분류 정확도를 떨어뜨리는 문제를 해결한다.
• 기존의 상호정보량 기반 방법이 부복으로 인해 밴드를 제거함으로써 유용한 정보를 손실하는 한계를 극복한다.
• 오류 확률 감소에 기여하는 밴드를 유지하는 특성 선택 전략을 개발하여, 유용한 부복과 유해한 부복을 구분한다.
• 패러노의 부등식을 통한 오류 확률 최소화를 워퍼 프레임워크에 통합하여 분류 성능을 향상시킨다.
• 부복과 분류 정확도의 균형을 제어할 수 있는 임계값 기반 메커니즘을 제공한다.

제안 방법

• 각 밴드와 진짜 지도 지ap 간의 상호정보량을 적용하여 클래스 레이블에 대한 관련성을 평가한다.
• 조건부 엔트로피와 상호정보량을 바탕으로 패러노의 부등식을 사용해 분류 오류 확률의 상한을 추정한다.
• 오류 확률 상한을 최소화하는 밴드를 선택하여, 각 선택된 밴드가 오류를 가늠할 수 있는 정도로 감소시킨다.
• 보완적인 임계값을 도입하여 부복을 제어한다: 오류 확률을 최소한으로 임계값 이상 감소시키는 밴드만 유지한다.
• 분류기의 추정된 기준 지도 지도를 반복적으로 사용하여 밴드 선택 성능을 평가하는 워퍼 전략을 구현한다.
• 선택된 특성 수에 기반한 정지 기준을 사용하여 필터-워퍼 하이브리드 접근법을 생성한다.

실험 결과

연구 질문

• RQ1 고분광 영상에서 상호정보량을 어떻게 사용하여 정보가 풍부한 밴드를 선택하면서도, 유용한 부복을 손실하지 않을 수 있는가?
• RQ2 패러노의 부등식을 통한 오류 확률 최소화가 기존의 상호정보량 기반 방법에 비해 분류 정확도 향상에 얼마나 기여하는가?
• RQ3 임계값 기반 메커니즘이 고분광 밴드 선택에서 유용한 부복과 해로운 부복을 효과적으로 구분할 수 있는가?
• RQ4 특히 레이블이 적은 픽셀을 가진 클래스들에 대해서는 제안된 워퍼 알고리즘이 어떻게 성능을 발휘하는가?
• RQ5 오류 확률 최소화를 사용할 때, 선택된 밴드 수와 분류 정확도 사이의 최적의 균형은 무엇인가?

주요 결과

• 제안된 알고리즘은 AVIRIS 92AV3C 데이터셋에서 단 18개의 밴드로만 90%의 분류 정확도를 달성하여 높은 효율성을 보였다.
• 임계값이 0.03 이하일 경우, 낮은 밴드 수에서도 높은 정확도를 유지한다 (예: 클래스 5는 95.93%, 클래스 6는 98.60%).
• 단 20개의 레이블 픽셀만 있는 클래스 9는 모든 임계값에서 100%의 정확도를 기록하여 희귀 클래스에 대한 강건성을 보였다.
• 기존의 상호정보량 필터링 방법보다 유용한 부복을 유지함으로써 오류 감소에 기여하는 밴드를 보존함으로써 성능이 뛰어나다.
• 0.01 이하의 임계값은 과도한 부복을 초래하여 성능을 떨어뜨리며, 음수 임계값(예: -0.01)은 모든 밴드를 선택하게 하여 정확도가 낮아진다.
• 임계값 0.03에서 0.015로 전환할 때 성능 향상이著명하게 나타나, 부복 제어의 중요한 민감도 지점임을 시사한다.