[논문 리뷰] A Parallel Framework for Multilayer Perceptron for Human Face Recognition

Mrinal Kanti Bhowmik, Debotosh Bhattacharjee외 3명|arXiv (Cornell University)|2010. 07. 05.

Face and Expression Recognition참고 문헌 9인용 수 5

한 줄 요약

이 논문은 인간의 얼굴 인식에서 다층 퍼셉트론(MLP)을 위한 병렬 학습 프레임워크를 제안하며, 두 가지 아키텍처인 All-Class-in-One-Network(ACON)과 One-Class-in-One-Network(OCON)을 비교한다. 각 클래스를 별도의 네트워크에서 동시에 학습시킴으로써 OCON은 기존의 순차적 ACON 학습 방식보다 더 빠른 수렴 속도를 달성하여, 조명 변화 및 자세 변화와 같은 도전적인 조건에서 복잡한 실시간 패턴 인식 작업에 있어 향상된 효율성을 보여준다.

ABSTRACT

Artificial neural networks have already shown their success in face recognition and similar complex pattern recognition tasks. However, a major disadvantage of the technique is that it is extremely slow during training for larger classes and hence not suitable for real-time complex problems such as pattern recognition. This is an attempt to develop a parallel framework for the training algorithm of a perceptron. In this paper, two general architectures for a Multilayer Perceptron (MLP) have been demonstrated. The first architecture is All-Class-in-One-Network (ACON) where all the classes are placed in a single network and the second one is One-Class-in-One-Network (OCON) where an individual single network is responsible for each and every class. Capabilities of these two architectures were compared and verified in solving human face recognition, which is a complex pattern recognition task where several factors affect the recognition performance like pose variations, facial expression changes, occlusions, and most importantly illumination changes. Both the structures were implemented and tested for face recognition purpose and experimental results show that the OCON structure performs better than the generally used ACON ones in term of training convergence speed of the network. Unlike the conventional sequential approach of training the neural networks, the OCON technique may be implemented by training all the classes of the face images simultaneously.

연구 동기 및 목표

• 대규모 얼굴 인식 작업에서 다층 퍼셉트론(MLP)의 느린 학습 속도를 해결하기 위해.
• 병렬 계산을 활용하여 복잡한 패턴 인식의 학습 효율을 향상시키기 위해.
• 모든 클래스를 하나의 네트워크에 포함하는 ACON(All-Class-in-One-Network)과 각 클래스마다 하나의 네트워크를 갖는 OCON(One-Class-in-One-Network)이라는 두 가지 MLP 아키텍처의 성능을 얼굴 인식에서 비교하기 위해.
• 조명, 자세, 표정과 같은 실제 세계의 변형 조건에서 병렬 학습이 수렴 속도와 인식 내성에 미치는 영향을 평가하기 위해.

제안 방법

• 각 얼굴 인식 클래스에 대해 전용 MLP 네트워크를 사용하는 병렬 프레임워크 설계(OCON 아키텍처).
• 모든 클래스 전용 네트워크를 동시에 학습시켜 수렴 속도를 가속화하기.
• 조명, 자세, 표정의 변화를 통제한 얼굴 인식 데이터셋에서 OCON 및 ACON 아키텍처를 비교하기.
• 각 네트워크 내에서 표준 역전파 알고리즘을 사용해 가중치를 갱신하며, 복수의 프로세서나 노드에서 병렬 실행을 구현하기.
• 다양한 조건에서 수렴 속도와 인식 정확도를 기반으로 성능 평가하기.
• 어려운 시각적 변형 조건에서의 내성을 테스트하기 위해 실제 얼굴 이미지 데이터셋에 프레임워크를 적용하기.

실험 결과

연구 질문

• RQ1 각 클래스별로 별도의 MLP 네트워크를 학습하는(OCON) 방식이, 모든 클래스를 하나의 네트워크에서 학습하는(ACON) 방식보다 더 빠른 수렴을 이끌어내는가?
• RQ2 클래스 전용 네트워크의 병렬 학습이 조명 및 자세 변화 조건에서 인식 정확도에 어떤 영향을 미치는가?
• RQ3 OCON 아키텍처는 순차적 ACON 학습 대비 상당한 학습 시간 단축을 이룰 수 있으며, 높은 인식 성능를 유지할 수 있는가?
• RQ4 OCON과 ACON 아키텍처 중 어느 것이 표정 변화 및 가림 현상에 더 뛰어난 내성을 보이는가?

주요 결과

• OCON 아키텍처는 기존의 ACON 접근 방식보다 더 빠른 학습 수렴을 달성한다.
• OCON은 학습 속도 측면에서 뛰어난 성능를 보이며, 실시간 복잡한 패턴 인식 작업에 더 적합하다.
• 두 아키텍처 모두 표정 변화 및 가림 현상에 대해 내성이 있지만, OCON은 조명 변화 조건에서 더 우수한 수렴 성능를 유지한다.
• OCON의 병렬 구현은 모든 클래스 전용 네트워크를 동시에 학습시켜 총 학습 시간을 크게 단축시킨다.
• 실험 결과, OCON이 인식 정확도를 손상시키지 않으면서도 수렴 속도에서 ACON을 능가함을 확인했다.