[논문 리뷰] Achievable Rates for Pattern Recognition

M. Brandon Westover, Joseph A. O’Sullivan|ArXiv.org|2005. 09. 08.

Neural Networks and Applications참고 문헌 25인용 수 6

한 줄 요약

이 논문은 패턴 인식에서 자원 제약(메모리 및 감지 데이터 속도)과 환경의 복잡성 간의 기본적 상호관계를 특성화하기 위한 일반적인 정보이론적 프레임워크를 제안한다. 신뢰할 수 있는 분류에서 달성 가능한 속도에 대한 단일 문자 표현식을 유도하며, 최적 성능가장 중요한 요소로 압축된 표현과 패턴 간의 상호정보량을 규명한다. 이론적 해법은 이진 및 가우시안 케이스에 대해 명시적으로 도출된다.

ABSTRACT

Biological and machine pattern recognition systems face a common challenge: Given sensory data about an unknown object, classify the object by comparing the sensory data with a library of internal representations stored in memory. In many cases of interest, the number of patterns to be discriminated and the richness of the raw data force recognition systems to internally represent memory and sensory information in a compressed format. However, these representations must preserve enough information to accommodate the variability and complexity of the environment, or else recognition will be unreliable. Thus, there is an intrinsic tradeoff between the amount of resources devoted to data representation and the complexity of the environment in which a recognition system may reliably operate. In this paper we describe a general mathematical model for pattern recognition systems subject to resource constraints, and show how the aforementioned resource-complexity tradeoff can be characterized in terms of three rates related to number of bits available for representing memory and sensory data, and the number of patterns populating a given statistical environment. We prove single-letter information theoretic bounds governing the achievable rates, and illustrate the theory by analyzing the elementary cases where the pattern data is either binary or Gaussian.

연구 동기 및 목표

• 신뢰할 수 있는 패턴 인식이 가능한 환경의 복잡성과 데이터 압축 자원 간의 본질적 상호관계를 수식화하는 것.
• 확률적 제약 조건 하에서 압축된 감지 및 메모리 데이터로부터의 추론 문제로 패턴 인식을 모델링하는 것.
• 메모리 속도, 감지 데이터 속도, 패턴 식별 속도의 세 가지 핵심 속도를 달성 가능한 분류 성능 측면에서 정의하고 분석하는 것.
• 이러한 제약 조건 하에서 신뢰할 수 있는 패턴 인식의 기본 한계를 특성화하는 단일 문자 표현식 정보이론적 경계를 도출하는 것.
• 이론을 이진 및 가우시안 패턴 인식 모델에 대해 명시적인 해법으로 제시하는 것.

제안 방법

• 학습 및 테스트 단계를 포함하는 확률적 패턴 인식 모델을 수식화하며, 패턴은 분포에서 추출되고 관측 중 노이즈에 의해 손상된다.
• 세 가지 핵심 속도를 도입한다: $ R_m $ (메모리 속도), $ R_y $ (감지 데이터 속도), $ R_c $ (패턴 식별 속도)로 각각 메모리, 관측, 패턴 집합 크기의 비트/기호를 나타낸다.
• 마르코프 체인과 조건부 독립성의 개념을 활용하여 달성 가능한 속도 영역을 구속하기 위해 상호정보량 $ I(U;W) $, $ I(Y;U) $, $ I(Y;W) $ 등의 정보이론적 도구를 적용한다.
• 특히 데이터 처리 부등식과 마르코프 구조를 활용하여 단일 문자 표현식을 통해 달성 가능한 속도 영역의 내부 및 외부 경계를 도출한다.
• 이산 및 연속 가우시안 변수에 대한 알려진 상호정보량 공식을 활용하여 이진 및 가우시안 케이스를 해결한다.
• 볼록체(post) 분석과 탄성 평면 기하학을 사용하여 달성 가능한 속도 영역의 경계를 특성화하며, 최적의 점들이 상호정보량으로 정의된 표면의 볼록체 위에 위치함을 보여준다.

실험 결과

연구 질문

• RQ1 패턴 인식에 사용되는 메모리와 감지 데이터의 양, 그리고 시스템이 신뢰성 있게 식별할 수 있는 고유한 패턴의 수 사이의 기본적 상호관계는 무엇인가?
• RQ2 정보이론적 원리에 기반하여 메모리, 감지 데이터, 패턴 식별의 달성 가능한 속도를 어떻게 특성화할 수 있는가?
• RQ3 자원 제약 조건 하에서의 안정적인 패턴 인식에 대한 달성 가능한 속도 영역에 대한 단일 문자 표현식 경계는 무엇인가?
• RQ4 이진 및 가우시안 패턴 인식 모델에서 달성 가능한 속도는 어떻게 다를 수 있으며, 이를 위한 닫힌 형태의 해법은 무엇인가?
• RQ5 달성 가능한 속도 영역의 경계는 볼록체와 탄성 평면을 사용하여 기하학적으로 특성화할 수 있는가?

주요 결과

• 논문은 달성 가능한 속도 집합이, 지능형 표현과 패턴 간의 상호정보량을 포함하는 단일 문자 표현식 정보이론적 표현식으로 둘러싸인 영역 내에 존재함을 규명한다.
• 이진 케이스에서는 이산 랜덤 변수 간의 상호정보량으로 달성 가능한 속도 영역가 특성화되며, 데이터 처리 부등식을 활용해 명시적인 경계가 도출된다.
• 가우시안 케이스에서는 공분산 벡터 간의 상호정보량이 달성 가능한 속도를 결정하며, 상관계수를 사용한 닫힌 형태의 해법이 존재한다.
• 달성 가능한 속도 영역의 경계는 상호정보량으로 정의된 표면의 볼록체임을 보여주며, 최적의 점들은 이 표면의 볼록체 위 또는 원점과 표면의 점들을 연결하는 선분 위에 위치한다.
• 분석 결과, 최적의 속도 영역은 마르코프 체인 $ U - Y - W $ 에 의해 제약을 받는 것으로 드러났으며, 여기서 $ U $ 는 압축된 메모리 표현, $ Y $ 는 노이즈가 있는 관측값, $ W $ 는 패턴 레이블이다.
• 가우시안 모델의 경우, 상호정보량 $ I(X;Y) $ 는 오직 상관계수 $ \rho_{x,y} $ 에만 의존하며, $ I(X;Y) = \frac{1}{2}\log(1 + \frac{P}{N}) $ 로 표현되며, 이는 직접적으로 속도 경계를 규명하는 데 기여한다.