[논문 리뷰] Lie Algebrized Gaussians for Image Representation

Liyu Gong, Meng Chen외 1명|arXiv (Cornell University)|2013. 04. 03.

Medical Image Segmentation Techniques참고 문헌 1인용 수 4

한 줄 요약

이 논문은 이미지에서 파생된 혼합 가우시안 모델(GMM)을 리 군 이론을 활용해 벡터화하는 데 초점을 맞춘 새로운 이미지 표현 방법인 리 대수화 가우시안(Lie Algebrized Gaussians, LAG)을 제안한다. 유니버설 배경 모델(UBM)을 중심으로 하는 리 군 다양체의 탄성 공간에 GMM 성분을 매핑함으로써 국소 기하 구조를 유지하고, 단순한 최근접 중심 분류기만을 사용하여 15Scenes 벤치마크에서 88.4%의 최고 성능을 달성한다.

ABSTRACT

We present an image representation method which is derived from analyzing Gaussian probability density function (\emph{pdf}) space using Lie group theory. In our proposed method, images are modeled by Gaussian mixture models (GMMs) which are adapted from a globally trained GMM called universal background model (UBM). Then we vectorize the GMMs based on two facts: (1) components of image-specific GMMs are closely grouped together around their corresponding component of the UBM due to the characteristic of the UBM adaption procedure; (2) Gaussian \emph{pdf}s form a Lie group, which is a differentiable manifold rather than a vector space. We map each Gaussian component to the tangent vector space (named Lie algebra) of Lie group at the manifold position of UBM. The final feature vector, named Lie algebrized Gaussians (LAG) is then constructed by combining the Lie algebrized Gaussian components with mixture weights. We apply LAG features to scene category recognition problem and observe state-of-the-art performance on 15Scenes benchmark.

연구 동기 및 목표

• GMM 기반 이미지 표현의 벡터화 문제를 해결하기 위해, 자연스럽게 벡터 공간을 형성하지 않는 문제에 대응한다.
• 가우시안 확률 밀도 함수(pdf)가 형성하는 내재된 기하 구조, 즉 리 군의 성질을 활용한다.
• 리 대수 매핑을 통해 GMM 성분의 다양체 구조를 유지함으로써 이미지 표현을 향상시킨다.
• 특히 KL 발산 기반 접근 방식에 비해 현저히 뛰어난 성능을 보이는, 장면 카테고리 인식에서의 GMM 벡터화 방법을 개선한다.
• 최근접 중심 분류기 기반의 단순하지만 강력한 분류 파이프라인에서 LAG의 효과성을 입증한다.

제안 방법

• 전역적으로 학습된 유니버설 배경 모델(UBM)에서 MAP 적응을 통해 학습된 GMM을 사용해 이미지를 모델링한다.
• 각 GMM 성분을 상삼각 정규화 애프린 변환(UTDAT) 행렬로 표현하며, 이는 가우시안 pdf와 등가이다.
• UTDAT 행렬이 리 군을 이룬다는 점을 인식하고, GMM 성분이 미분 가능 다양체 위에 존재한다는 것을 확인한다.
• 각 이미지 전용 GMM 성분을 해당 UBM 성분 위치에서의 리 군의 탄성 공간(Lie algebra)으로 매핑한다.
• 합의 곱 근사법을 사용해 리-대수화된 성분과 혼합 가중치를 조합하여 최종 LAG 특징을 구성한다.
• 분류 이전에 내부 클래스 변동성을 줄이기 위해 분류 기반 노이즈 속성 투영(NAP)을 적용한다.

실험 결과

연구 질문

• RQ1 기존 방법에 비해 더 효과적인 GMM 기반 이미지 표현의 벡터화 방법을 도출하기 위해 리 군 이론을 활용할 수 있는가?
• RQ2 리 대수 매핑을 통한 가우시안 pdf의 다양체 구조 유지가 인식 성능에 어떤 영향을 미치는가?
• RQ3 UBM 기반 정렬을 통한 공분산 정보 통합 및 평균 중심화가 KL 발산 기반 방법에 비해 GMM 벡터화 성능을 향상시키는가?
• RQ4 GMM 혼합 성분의 수가 다양할 경우 LAG 표현의 일반화 능력은 어느 정도인가?
• RQ5 단순한 분류 파이프라인을 사용함에도 불구하고 LAG는 장면 카테고리 인식에서 최고 성능을 달성할 수 있는가?

주요 결과

• LAG 특징는 15Scenes 벤치마크에서 평균 88.4%의 정확도를 기록하며 기존 최고 성능 방법을 초월한다.
• 공분산 정보를 제거한 LAG의 단순화된 변형 버전은 87.36%의 정확도를 기록하여, 평균 중심화만으로도 KLVec에 비해 뚜렷한 성능 향상을 보임을 입증한다.
• LAG에 공분산 정보를 포함시킬 경우 단순화된 LAG에 비해 정확도가 1% 향상되며, 이는 공분산 정보의 가치를 확인한다.
• 모든 테스트된 혼합 성분 수(32~1024)에서 LAG는 단순화된 LAG 및 KLVec를 일관되게 능가한다.
• 단지 32개 성분만으로도 LAG는 86.41%의 정확도를 달성하여 높은 효율성과 강건성을 보여준다.
• 이 연구에서 사용된 KLVec 기준선은 83.84%의 정확도를 기록하였으며, 이는 이전 연구에서 보고된 84.27%보다 낮다. 이는 고려되지 않은 공간 정보 성분(예: 가우시안 맵)이 누락되었기 때문일 것이다.