[논문 리뷰] Image Classification with Rejection using Contextual Information

Filipe Condessa, José M. Bioucas‐Dias외 3명|arXiv (Cornell University)|2015. 09. 03.

Advanced Image and Video Retrieval Techniques참고 문헌 14인용 수 3

한 줄 요약

이 논문은 그래프 기반 에너지 최소화 모델을 사용하여 거부(rejection)와 다중 척도적 문맥 정보를 통합하는 새로운 이미지 분류 프레임워크를 제안한다. 다중항 로지스틱 회귀와 공간적 및 다중 수준 유사성 제약 조건을 결합함으로써, 특히 알려지지 않은 클래스가 포함된 노이즈가 많거나 소규모, 또는 불균형한 조직병리학 데이터셋에서 정확도를 향상시키면서도 불확실하거나 잘못 분류된 영역을 지능적으로 거부하는 데 효과적이다.

ABSTRACT

We introduce a new supervised algorithm for image classification with rejection using multiscale contextual information. Rejection is desired in image-classification applications that require a robust classifier but not the classification of the entire image. The proposed algorithm combines local and multiscale contextual information with rejection, improving the classification performance. As a probabilistic model for classification, we adopt a multinomial logistic regression. The concept of rejection with contextual information is implemented by modeling the classification problem as an energy minimization problem over a graph representing local and multiscale similarities of the image. The rejection is introduced through an energy data term associated with the classification risk and the contextual information through an energy smoothness term associated with the local and multiscale similarities within the image. We illustrate the proposed method on the classification of images of H&E-stained teratoma tissues.

연구 동기 및 목표

• 훈련 데이터가 소규모, 불균형, 노이즈가 많거나 완전하지 않을 때 조직병리학 이미지 분류의 강건성 문제를 해결하기 위해.
• 분류 거부를 고려한 프레임워크에 공간적 및 다중 척도적 문맥 정보를 통합하여 분류 정확도를 향상시키기 위해.
• 낮은 신뢰도 예측을 거부함으로써 알 수 없는 또는 모호한 영역의 오분류를 줄이기 위해.
• 거부를 분류 과정 내부에 통합한 단일 모델을 개발하여 후행 규칙으로 적용하는 것이 아니라.
• 피크셀 수준의 진정값이 없고 클래스 간 분리성이 낮은 H&E 염색 테라토마 조직 영상에서 방법을 평가하기 위해.

제안 방법

• 이 방법은 이미지 패치 간 국소적 및 다중 척도 유사성의 그래프를 표현하는 에너지 최소화 문제로 이미지 분류를 모델링한다.
• 초기 클래스 예측을 위한 확률적 분류기로 다중항 로지스틱 회귀 모델을 사용한다.
• 에너지 함수의 데이터 항을 통해 거부를 도입하며, 이는 높은 분류 위험을 벌점으로 삼는다. 반면 스무스니스 항은 문맥 유사성 기반의 일관성을 강제한다.
• 에너지 함수는 후행 확률을 통한 분류 위험과 패치 유사성 기반의 공간 일관성을 통합하여 분류 및 거부 결정을 이끌어낸다.
• 거부 임계값은 분류 품질 최적화를 통해 결정되며, 정확도와 거부 비율 간 균형을 이룬다.
• 정규화 파라미터 λ = 5를 사용하여 0.5%의 무작위로 선택된 이미지 패치 서브셋을 활용해 프레임워크를 훈련 및 평가한다.

실험 결과

연구 질문

• RQ1 제한된 또는 노이즈가 많은 훈련 데이터를 가진 이미지 분류 작업에서 문맥 정보와 거부를 조합하면 정확도 향상이 가능한가?
• RQ2 공간적 및 다중 척도 유사성의 통합은 거부를 고려한 분류기의 성능에 어떤 영향을 미치는가?
• RQ3 제안된 방법은 표준 분류에 거부를 적용하거나 문맥 정보 전용 접근 방식에 비해 분류 품질과 비거부 정확도 측면에서 우월한가?
• RQ4 이 방법은 조직병리학 영상에서 알 수 없는 또는 모호한 조직 영역의 오분류를 어느 정도 줄이는가?
• RQ5 이 방법의 성능은 다양한 이미지 복잡도와 클래스 분포에서 어떻게 변하는가?

주요 결과

• 이미지 1과 2에 대해 제안된 방법은 문맥 정보 전용 분류보다 높은 분류 품질을 달성했으며, 잘못 분류된 영역의 효과적인 거부와 함께 정확한 분류 유지가 가능함을 시사한다.
• 이미지 3에서는 문맥 정보 전용 정확도가 이미 높았기 때문에, 방법이 더 많은 정확한 분류 샘플을 거부하여 분류 품질이 낮아졌으며, 이는 복잡한 케이스에서의 상충관계를 보여준다.
• 제안된 방법의 성능는 최적의 거부 비율을 사용한 분류에 거부를 적용한 경우와 유사했으며, 이는 문맥 정보가 수동 임계값 조정을 대체할 수 있음을 시사한다.
• 이미지 1에서는 거부와 문맥 정보를 조합함으로써 분류 품질과 비거부 정확도가 모두 크게 향상되었다.
• 이미지 2에서는 클래스 경계가 효과적으로 거부되어 전체 및 클래스별 거부 품질이 높았다.
• 이미지 3에서는 노이즈가 많은 훈련 데이터로 인해 클래스 경계가 과도하게 거부되어, 기준 문맥 정보 전용 모델보다 분류 품질이 떨어졌다.