[논문 리뷰] Median Filtering is Equivalent to Sorting

Jukka Suomela|arXiv (Cornell University)|2014. 06. 06.

Algorithms and Data Compression참고 문헌 15인용 수 8

한 줄 요약

이 논문은 중앙값 필터링이 조각별 정렬과 계산적으로 동일하다는 것을 입증한다: 슬라이딩 윈도우 중앙값을 계산하기 위해 먼저 크기 $k$의 블록을 정렬한 후 선형 시간 후처리를 적용하는 새로운 알고리즘을 제안한다. 핵심 통찰은 시간 역전된 삭제와 커니스의 춤추는 링크 기법을 사용해 윈도우 업데이트를 효율적으로 시뮬레이션하는 두 개의 정렬된 이중 연결 리스트 $L_A$와 $L_B$를 유지하는 것이다. 이로 인해 힙 기반 방법과 유사한 성능을 달성하면서도 부분적으로 정렬된 데이터에서는 더 뛰어난 성능을 보인다.

ABSTRACT

This work shows that the following problems are equivalent, both in theory and in practice: - median filtering: given an $n$-element vector, compute the sliding window median with window size $k$, - piecewise sorting: given an $n$-element vector, divide it in $n/k$ blocks of length $k$ and sort each block. By prior work, median filtering is known to be at least as hard as piecewise sorting: with a single median filter operation we can sort $Θ(n/k)$ blocks of length $Θ(k)$. The present work shows that median filtering is also as easy as piecewise sorting: we can do median filtering with one piecewise sorting operation and linear-time postprocessing. In particular, median filtering can directly benefit from the vast literature on sorting algorithms---for example, adaptive sorting algorithms imply adaptive median filtering algorithms. The reduction is very efficient in practice---for random inputs the performance of the new sorting-based algorithm is on a par with the fastest heap-based algorithms, and for benign data distributions it typically outperforms prior algorithms. The key technical idea is that we can represent the sliding window with a pair of sorted doubly-linked lists: we delete items from one list and add items to the other list. Deletions are easy; additions can be done efficiently if we reverse the time twice: First we construct the full list and delete the items in the reverse order. Then we undo each deletion with Knuth's dancing links technique.

연구 동기 및 목표

• 중앙값 필터링과 조각별 정렬 간 이론적이고 실용적인 동등성을 확립하기 위해.
• 기존의 정렬 알고리즘을 활용해 향상된 성능을 얻는 새로운 중앙값 필터링 알고리즘을 개발하기 위해.
• 정렬 기반 중앙값 필터링이 기존의 힙 기반 접근 방식과 경쟁하거나 이를 초월할 수 있음을 보여주기 위해.
• 적응형 및 캐시 효율적인 정렬 기법이 중앙값 필터링 성능 향상에 기여할 수 있음을 보여주기 위해.
• 다양한 데이터 분포와 하드웨어 플랫폼에서 알고리즘의 성능을 검증하기 위해.

제안 방법

• 알고리즘은 입력 벡터를 $n/k$개의 크기 $k$인 블록으로 나누고, 각 블록을 비교 기반 정렬 알고리즘을 사용해 정렬한다.
• 슬라이딩 윈도우를 나타내기 위해 두 개의 정렬된 이중 연결 리스트 $L_A$와 $L_B$를 유지한다. $L_A$는 현재 윈도우를 담고 있고, $L_B$는 새로운 요소를 축적한다.
• 새로운 요소를 $L_B$에 효율적으로 삽입하기 위해 시간을 뒤집는 전략을 사용한다: 먼저 새로운 요소의 전체 목록을 구성한 후 역순으로 삭제한다.
• 삭제는 표준 이중 연결 리스트 연산을 사용하고, 삽입은 커니스의 춤추는 링크 기법을 사용해 삭제를 취소함으로써 시뮬레이션한다.
• 두 정렬된 리스트를 두 포인터 방식으로 병합함으로써 중앙값을 선형 시간에 계산한다. 이 과정에서 중간 요소를 가리키는 포인터를 유지한다.
• 초기 정렬 단계 이후 $O(n)$ 시간 내에 출력 벡터를 후처리하여 계산하며, 전체 시간 복잡도는 $O(n\log k)$가 된다.

실험 결과

연구 질문

• RQ1 이론적·실제적으로 중앙값 필터링이 조각별 정렬과 계산적으로 동일한가?
• RQ2 정렬 기반 접근 방식이 힙 기반 중앙값 필터링 알고리즘과 경쟁하거나 더 뛰어난 성능을 낼 수 있는가?
• RQ3 임의의 입력에 비해 부분적으로 정렬되거나 구조가 있는 입력에서 제안된 알고리즘의 성능은 어떠한가?
• RQ4 기존의 적응형 및 캐시 최적화 정렬 알고리즘을 직접 활용해 중앙값 필터링 성능을 향상시킬 수 있는가?
• RQ5 데이터 국소성과 메모리 접근 패턴이 중앙값 필터링 알고리즘의 효율성에 미치는 영향은 무엇인가?

주요 결과

• 제안된 정렬 기반 중앙값 필터링 알고리즘은 힙 기반 방법과 동일한 $O(n\log k)$ 최악의 시간 복잡도를 가지지만, 실질적인 성능에서는 종종 더 뛰어나다.
• 임의의 입력에 대해서는 최신 힙 기반 구현과 유사한 성능을 보였다.
• 부분적으로 정렬되거나 구조가 있는 입력에서는 정렬 기반 알고리즘이 힙 기반 방법보다 뚜렷이 뛰어나며, 특히 캐시 효율성이 뛰어나기 때문이다.
• 알고리즘은 티미소트나 기타 적응형 알고리즘과 같은 적응형 정렬을 활용함으로써 실제 세계의 데이터 분포에서 뛰어난 성능을 발휘할 수 있다.
• 4,620개의 실험을 수행한 벤치마킹 결과, SortMedian은 HeapMedian을 항상 뛰어넘었으며, 특히 윈도우 크기가 클수록 그 성능 격차가 더 커졌다.
• 시간 역전된 삭제와 춤추는 링크 기법을 사용함으로써 정렬된 리스트에 효율적인 삽입이 가능해져, 알고리즘이 단순하면서도 매우 높은 성능을 발휘하게 되었다.