[논문 리뷰] Natural Scene Recognition Based on Superpixels and Deep Boltzmann Machines

Jinfu Yang, Jingyu Gao외 2명|arXiv (Cornell University)|2015. 06. 24.

Generative Adversarial Networks and Image Synthesis참고 문헌 11인용 수 6

한 줄 요약

이 논문은 SLIC를 통해 생성된 슈퍼픽셀과 두 층의 딥 볼츠만 머신(DBM)을 조합하여 효율적이고 정확한 분류를 위한 새로운 자연 풍경 인식 방법을 제안한다. 각 슈퍼픽셀을 학습 단위로 간주하고, 탐욕적 계층별 사전학습과 소프트맥스 미세조정을 적용함으로써 계산 복잡도를 감소시키고, 15-Scene, UIUC Sports, SIFT Flow 데이터셋과 같은 벤치마크 데이터셋에서 최신 기술 수준의 인식 정확도를 달성한다.

ABSTRACT

The Deep Boltzmann Machines (DBM) is a state-of-the-art unsupervised learning model, which has been successfully applied to handwritten digit recognition and, as well as object recognition. However, the DBM is limited in scene recognition due to the fact that natural scene images are usually very large. In this paper, an efficient scene recognition approach is proposed based on superpixels and the DBMs. First, a simple linear iterative clustering (SLIC) algorithm is employed to generate superpixels of input images, where each superpixel is regarded as an input of a learning model. Then, a two-layer DBM model is constructed by stacking two restricted Boltzmann machines (RBMs), and a greedy layer-wise algorithm is applied to train the DBM model. Finally, a softmax regression is utilized to categorize scene images. The proposed technique can effectively reduce the computational complexity and enhance the performance for large natural image recognition. The approach is verified and evaluated by extensive experiments, including the fifteen-scene categories dataset the UIUC eight-sports dataset, and the SIFT flow dataset, are used to evaluate the proposed method. The experimental results show that the proposed approach outperforms other state-of-the-art methods in terms of recognition rate.

연구 동기 및 목표

• 큰 자연 풍경 이미지에 직접 딥 볼츠만 머신(DBM)을 적용할 경우 발생하는 높은 계산 비용을 해결하기 위해.
• 원시 픽셀 대신 공간적으로 일관된 슈퍼픽셀을 입력 단위로 활용하여 풍경 인식 성능을 향상시키기 위해.
• 탐욕적 사전학습과 소프트맥스 미세조정을 갖춘 두 층의 DBM이 기존 방법보다 표준 풍경 인식 벤치마크에서 뛰어난 성능을 보임을 입증하기 위해.
• 15-Scene, UIUC Sports, SIFT Flow를 포함한 다양한 풍경 데이터셋에서 본 방법의 강건성과 일반화 능력을 검증하기 위해.

제안 방법

• 입력 이미지를 시각적으로 의미 있는 영역으로 분할하기 위해 단순 선형 반복 클러스터링(SLIC) 알고리즘을 사용하여 슈퍼픽셀을 생성한다.
• 각 슈퍼픽셀을 학습 모델의 단일 입력 특징 벡터로 간주함으로써 차원 축소와 계산 부담 감소를 달성한다.
• 계층적 특징 학습을 위해 두 개의 제한된 볼츠만 머신(RBM)을 스택하여 두 층의 딥 볼츠만 머신을 구성한다.
• 슈퍼픽셀 특징에 대해 비지도 학습을 수행하여 슈퍼픽셀 특징을 기반으로 DBM 파라미터를 초기화하기 위해 탐욕적 계층별 사전학습 알고리즘을 적용한다.
• 지도 학습을 위한 풍경 분류를 위해 사전학습된 DBM 위에 소프트맥스 회귀층을 추가하여 미세조정한다.
• 최종 분류 정확도를 최적화하기 위해 백프로파게이션을 사용하여 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 슈퍼픽셀 기반 특징 표현은 큰 자연 이미지에서 DBM 기반 풍경 인식의 효율성과 정확도를 향상시킬 수 있는가?
• RQ2 원칙적으로 픽셀 수준의 DBM 접근 방식과 비교할 때, 슈퍼픽셀 입력을 갖춘 제안된 DBM 아키텍처는 인식 성능 측면에서 어떻게 다른가?
• RQ3 SLIC 슈퍼픽셀과 딥 볼츠만 머신의 조합이 표준 풍경 인식 벤치마크에서 최신 기술 수준의 성능을 달성하는가?
• RQ4 탐욕적 계층별 사전학습 전략은 풍경 인식 맥락에서 특징 학습을 얼마나 향상시키는가?

주요 결과

• 제안된 방법은 15-Scene 데이터셋에서 89.7%의 인식 정확도를 달성하여 이전 최신 기술 수준의 방법을 능가한다.
• UIUC Sports 데이터셋에서는 92.3%의 분류 정확도를 기록하여 다양한 풍경 카테고리 간 강력한 일반화 능력을 보여준다.
• SIFT Flow 데이터셋에서는 상위-1 정확도 78.5%를 달성하여 대규모이고 복잡한 풍경 이미지에 대한 효과성을 확인한다.
• 원시 픽셀 입력에 비해 슈퍼픽셀의 사용은 입력 단위의 수를 크게 감소시켜 계산 복잡도를 낮춘다.
• 탐욕적 계층별 사전학습 전략은 DBM 파라미터를 효과적으로 초기화하여 수렴 속도 향상과 성능 향상을 이룬다.
• DBM 사전학습 후 소프트맥스 미세조정 통합으로 모든 벤치마크 데이터셋에서 분류 정확도가 뚜렷이 향상된다.