[논문 리뷰] Recalling of Images using Hopfield Neural Network Model

C. Ramya, G. Kavitha외 1명|arXiv (Cornell University)|2011. 05. 02.

Neural Networks and Applications참고 문헌 3인용 수 9

한 줄 요약

이 논문은 훈련 패턴에서 유도된 가중치 행렬을 사용하여 이미지를 저장하고 재생하기 위한 자동상관 기억(auto-associative memory)을 위한 허프리드 신경망 모델을 제안한다. 손상되거나 완전하지 않은 이미지가 주어지면, 네트워크는 해밍 거리 기반으로 가장 가까운 저장된 이미지로 수렴하여 시뮬레이션에서 강건한 재생 능력을 보여준다.

ABSTRACT

In the present paper, an effort has been made for storing and recalling images with Hopfield Neural Network Model of auto-associative memory. Images are stored by calculating a corresponding weight matrix. Thereafter, starting from an arbitrary configuration, the memory will settle on exactly that stored image, which is nearest to the starting configuration in terms of Hamming distance. Thus given an incomplete or corrupted version of a stored image, the network is able to recall the corresponding original image. The storing of the objects has been performed according to the Hopfield algorithm explained below. Once the net has completely learnt this set of input patterns, a set of testing patterns containing degraded images will be given to the net. Then the Hopfield net will tend to recall the closest matching pattern for the given degraded image. The simulated results show that Hopfield model is the best for storing and recalling images.

연구 동기 및 목표

• 허프리드 신경망을 자동상관 기억 시스템에서 이미지 저장 및 재생에 활용할 수 있는지의 타당성을 조사하기 위해.
• 손상되거나 부분적으로 손상된 입력에서 원본 이미지를 복원할 수 있는 네트워크의 능력을 평가하기 위해.
• 강건한 기억 재생을 위한 이미지 패턴 세트에 대해 허프리드 학습 알고리즘을 구현하고 테스트하기 위해.
• 노이즈가 첨가되거나 부분적으로 손상된 이미지 입력이 제시되었을 때 네트워크의 수렴 행동을 분석하기 위해.
• 다양한 수준의 입력 손상 조건 하에서 허프리드 모델이 저장된 이미지를 재구성하는 데 효과적인지 검증하기 위해.

제안 방법

• 이미지는 이진 벡터로 인코딩되고, 허프리드 학습 규칙을 통해 가중치 행렬을 계산한다.
• 가중치 행렬은 입력 벡터의 외적(outer product)을 사용하여 유도되며, 훈련 패턴의 안정적 저장을 보장한다.
• 네트워크 동역학은 에너지 함수에 의해 지배되며, 이는 저장된 패턴에 해당하는 국소 최소값으로 시스템을 이끌어낸다.
• 초기 상태는 저장된 이미지의 손상되거나 완전하지 않은 버전으로 설정되며, 네트워크는 에너지를 최소화하기 위해 반복적으로 뉴런 상태를 갱신한다.
• 더 이상 상태 변화가 발생하지 않을 때 수렴이 이루어지며, 이는 가장 가까운 매칭 저장 이미지의 회수를 의미한다.
• 초기 상태와 최종 상태 사이의 해밍 거리는 유사도를 측정하고 재생 정확도를 평가하는 데 사용된다.

실험 결과

연구 질문

• RQ1 허프리드 신경망은 손상되거나 완전하지 않은 이미지 버전으로부터 완전한 이미지를 신뢰성 있게 재생할 수 있는가?
• RQ2 입력 이미지의 노이즈 또는 열화 수준이 증가함에 따라 네트워크 성능은 어떻게 변하는가?
• RQ3 초기 상태와 최종으로 회수된 이미지 사이의 해밍 거리 간의 관계는 무엇인가?
• RQ4 가중치 공간에서 네트워크는 항상 가장 가까운 저장된 패턴으로 수렴하는가?
• RQ5 다양한 입력 조건 하에서 허프리드 모델은 이미지의 품질 유지 능력이 어느 정도인가?

주요 결과

• 허프리드 네트워크는 해밍 거리 기반으로 가장 가까운 저장된 패턴으로 수렴함으로써 손상된 입력에서 원본 이미지를 성공적으로 재생했다.
• 심각하게 열화된 입력 이미지가 제시되어도 네트워크는 안정적인 수렴을 보였다.
• 재생 정확도는 높았으며, 초기 상태가 안정성 영역 내에 있을 경우 시스템은 일관되게 의도한 저장된 이미지를 회수했다.
• 에너지 함수는 저장된 패턴에 해당하는 국소 최소값으로 네트워크를 효과적으로 이끌었다.
• 시뮬레이션 결과는 허프리드 모델이 자동상관 기억 프레임워크 내에서 이미지 재생 작업에 효과적임을 확인했다.
• 다양한 수준의 이미지 열화 조건에서의 여러 테스트 케이스를 통해 이 방법이 강건함을 입증했다.