[논문 리뷰] A non iterative method of separation of points by planes in n dimensions and its application

K. Eswaran|arXiv (Cornell University)|2015. 09. 29.

Advanced Image and Video Retrieval Techniques참고 문헌 7인용 수 3

한 줄 요약

이 논문은 n차원 공간 내의 임의의 수의 점들을 평면을 사용하여 반복하지 않는 알고리즘을 제시한다. 이 알고리즘은 점 간의 분리 가능성을 인코딩하는 '함밍 벡터'로 구성된 방향성 벡터에 기반해 동적으로 분리 초평면을 구축한다. 이 방법은 모든 점들이 상호 분리되며 보장된 수렴성을 확보하며, 증분적 데이터 추가 및 차원 확장 기능을 지원한다. 시간 복잡도는 $O(nN\log N + n^3\log N)$이며, 이는 의료 데이터베이스 및 다중 모odal 데이터 통합에 적합한 대규모 데이터 검색에 유용하다.

ABSTRACT

Given a set of N points, we have discovered an algorithm that can separate these points from one another by n-dimensional planes. Each point is chosen at random and put into a set S and planes which separate them are determined and put into S. The algorithm gives a method of choosing points and planes which separate them, till all the points are separated. A proof is provided with a worked example. The algorithm is non iterative and always halts successfully and the algorithm strictly follows Shannon's principle of making optimal use of information as it advances stage by stage. It also has a restart facility and can take care of new points from where it left off.At some later stage if the dimension of the data is increased from n to n+r, the algorithm can still continue from where it left off, after some simple adjustments, and tackle the new data points which are of a higher dimension. and separate them. The computational complexity is O(n.N log(N)) + O(n3 log(N)), where N is the given number of points and n3 is the cube of n - the dimension of space. The algorithm is made possible because a new concept called Orientation Vector is used. This vector is a Hamming vector and is associated with each point and has been so devised that it has all the information necessary to ascertain if two points are separate or not when among a collection of planes.Its application to data retrieval problems in very large medical data bases is also given.

연구 동기 및 목표

• n차원 공간 내의 유한한 점 집합을 초평면을 사용하여 반복하지 않고 보장된 수렴성으로 분리할 수 있는 방법을 개발하는 것.
• 새로운 점이 데이터셋에 증분적으로 추가될 때 점의 분리 가능성을 효율적으로 유지하는 문제를 해결하는 것.
• 데이터의 차원이 n에서 n+r로 증가할 때 알고리즘을 원활하게 확장할 수 있도록 하는 것.
• 기존 데이터를 재처리하지 않고도 다양한 데이터 유형(예: 이미지, 오디오)을 통합된 고차원 공간에 통합할 수 있도록 하는 것.
• 의료 데이터베이스 및 지속 가능한 지식 저장소에서 대규모 데이터 검색에 적합한 확장 가능한 솔루션을 제공하는 것.

제안 방법

• 알고리즘은 각 점이 현재의 모든 분리 초평면에 대해 상대적인 위치를 인코딩하는 방향성 벡터—차원 q(현재 초평면 수)를 가진 함밍 벡터—를 사용한다.
• 각 신규 점은 현재 집합 S에 포함된 모든 점들과의 분리 가능성을 검사하기 위해 S에 포함된 점들의 방향성 벡터와 비교된다; 만약 모든 비교에서 불일치가 나타나면 점은 S에 추가된다.
• 만약 새로운 점이 분리에 실패할 경우(즉, S에 있는 기존 점과 동일한 방향성 벡터를 공유할 경우), 일시적으로 집합 T에 저장되며, 이에 해당하는 분리되지 않은 쌍의 수를 세는 카운터가 유지된다.
• T에 n개의 이러한 분리되지 않은 점(또는 쌍)이 축적되면, 이들의 중점들을 통과하는 새로운 분리 초평면이 동시에 모든 n개의 점을 분리하도록 구성되며, 이 초평면은 분리 초평면 집합에 추가된다.
• 알고리즘은 매번 새로운 초평면이 추가된 후에도 S에 포함된 모든 점들이 상호 분리된 상태를 유지함으로써 항상 분리 가능성을 유지한다.
• 이 방법은 재시작 및 차원 확장 기능을 지원한다: 기존 데이터는 새로운 차원의 계수를 0으로 설정하여 고차원으로 확장할 수 있으며, 기존 데이터를 재처리하지 않고도 새로운 데이터 유형을 통합할 수 있다.

실험 결과

연구 질문

• RQ1 반복하지 않고 보장된 수렴성을 확보하는 초평면을 사용하여 n차원 공간 내의 임의의 유한한 점 집합을 분리할 수 있는 알고리즘을 설계할 수 있는가?
• RQ2 전체 데이터셋을 재처리하지 않고도 새로운 점이 추가될 때 실시간으로 점의 분리 가능성을 효율적으로 확인할 수 있는가?
• RQ3 알고리즘이 다시 시작하지 않고도 증분적 데이터 추가 및 차원 증가를 처리할 수 있는 메커니즘은 무엇인가?
• RQ4 이질적인 데이터 유형(예: 이미지 및 오디오)을 통합된 고차원 공간에 통일된 분리 프레임워크를 사용하여 통합할 수 있는가?
• RQ5 이러한 시스템의 계산 복잡도는 무엇이며, 대규모 데이터 검색 응용 분야에서 효율적으로 확장 가능한가?

주요 결과

• 알고리즘은 유한한 시간 내에 모든 점들을 성공적으로 분리하며, 반복하지 않아 수렴 루프 없이 종료됨을 보장한다.
• 방향성 벡터의 사용으로 쌍별 분리 가능성 검사에 O(1) 시간이 소요되며, 각 삽입의 비용은 점의 수 N에 대해 O(N)이 된다.
• 알고리즘은 재시작 기능을 지원한다: 기존 데이터를 재처리하지 않고도 언제든지 새로운 점을 추가할 수 있으며, 현재의 분리 가능성 상태를 유지한다.
• 알고리즘은 고차원으로 확장 가능하다: 데이터 차원이 n에서 n+r로 증가할 경우, 기존 데이터는 새로운 차원에서 0 값으로 내재화되며 알고리즘이 원활하게 계속 작동한다.
• 계산 복잡도는 $O(nN\log N + n^3\log N)$로 제한되며, 여기서 N은 점의 수, n은 차원 수이므로 대규모 응용 분야에 효율적이다.
• 이 방법은 지속 가능한 지식 저장을 가능하게 한다: 새로운 데이터 유형이나 차원이 추가되더라도 모든 역사적 데이터가 분리 가능하고 접근 가능하며, 수명 주기 학습 시스템을 지원한다.