[논문 리뷰] An Optimized Huffmans Coding by the method of Grouping

Rupesh Gautam, S. Murali|arXiv (Cornell University)|2016. 07. 28.

Algorithms and Data Compression참고 문헌 1인용 수 3

한 줄 요약

이 논문은 문자를 그룹화하여 데이터 크기와 트리 복잡성을 줄이는 최적화된 허프만 코딩 방법을 제안한다. 이는 인코딩된 데이터와 디코딩 트리 오버헤드를 최소화함으로써 표준 허프만 코딩보다 더 높은 압축 효율성을 달성한다. 이 방법은 대규모 데이터 응용 분야인 머신러닝 및 IoT에서 처리 속도와 확장성을 향상시킨다.

ABSTRACT

Data compression has become a necessity not only the in the field of communication but also in various scientific experiments. The data that is being received is more and the processing time required has also become more. A significant change in the algorithms will help to optimize the processing speed. With the invention of Technologies like IoT and in technologies like Machine Learning there is a need to compress data. For example training an Artificial Neural Network requires a lot of data that should be processed and trained in small interval of time for which compression will be very helpful. There is a need to process the data faster and quicker. In this paper we present a method that reduces the data size. This method is known as Optimized Huffmans Coding. In the Huffmans coding we encode the messages so as to reduce the data and here in the optimized Huffmans coding we compress the data to a great extent which helps in various signal processing algorithms and has advantages in many applications. Here in this paper we have presented the Optimized Huffmans Coding method for Text compression. This method but has advantages over the normal Huffmans coding. This algorithm presented here says that every letter can be grouped together and encoded which not only reduces the size but also the Huffmans Tree data that is required for decoding, hence reducing the data size. This method has huge scientific applications.

연구 동기 및 목표

• 기계학습 및 IoT와 같은 데이터 집약적 분야에서 더 빠른 데이터 압축이 증가하는 필요를 해결한다.
• 허프만 디코딩 트리의 크기를 최소화하여 허프만 코딩의 계산 및 저장 오버헤드를 줄인다.
• 지능적인 문자 그룹화를 통해 표준 허프만 코딩을 초월한 압축 효율성을 향상시킨다.
• 인코딩된 데이터 크기와 디코딩 복잡성을 모두 줄여 대규모 데이터셋의 처리 속도를 향상시킨다.
• 과학적 및 실시간 데이터 처리 시스템에서의 텍스트 압축을 위한 확장 가능한 솔루션을 제공한다.

제안 방법

• 빈도 또는 기타 기준에 따라 문자를 클러스터로 그룹화하여 복합 기호를 형성한다.
• 개별 문자가 아닌 그룹화된 기호를 대상으로 허프만 트리를 구축함으로써 잎 노드의 수를 줄인다.
• 표준 허프만 인코딩 원칙을 사용하여 각 그룹을 단일 단위로 인코딩함으로써 총 비트 수를 감소시킨다.
• 기대 코드 길이를 최소화하면서도 디코딩 가능성을 유지하기 위해 그룹 전략을 최적화한다.
• 노드 수를 줄여 허프만 트리의 크기를 감소시켜 저장 및 전송 비용을 낮춘다.
• 특히 텍스트 데이터에 이 방법을 적용하여 전체 데이터 포트폴리오 감소 효과를 입증한다.

실험 결과

연구 질문

• RQ1 허프만 코딩에서 문자를 그룹화하면 표준 허프만 코딩보다 더 효과적으로 인코딩된 데이터 크기를 줄일 수 있는가?
• RQ2 그룹화를 통해 허프만 트리의 노드 수를 줄이면 저장 및 디코딩 오버헤드가 낮아지는가?
• RQ3 압축 비율과 처리 속도 측면에서 제안된 그룹화 방법은 전통적 허프만 코딩과 어떻게 비교되는가?
• RQ4 디코딩 복잡성 증가 없이도 최적의 압축 효율성을 달성하기 위한 문자 그룹화 전략은 무엇인가?
• RQ5 이 방법은 머신러닝 및 IoT와 같은 데이터 집약적 응용 분야에서 성능 향상에 얼마나 기여할 수 있는가?

주요 결과

• 제안된 방법은 압축할 기호 수를 줄임으로써 표준 허프만 코딩보다 더 높은 압축 비율을 달성한다.
• 그룹화로 인해 허프만 트리의 크기가 감소하여 디코딩 구조의 저장 및 전송 비용이 낮아진다.
• 인코딩 및 디코딩 연산 수를 최소화함으로써 처리 시간이 크게 단축된다.
• 대규모 텍스트 데이터셋에서는 그룹화의 이점이 증폭되어 이 방법이 특히 효과적이다.
• 손실 없는 압축을 유지하면서도 효율성을 향상시켜 실시간 및 고처리량 응용 분야에 적합하다.
• 결과적으로 문자를 허프만 인코딩하기 전에 그룹화하면 데이터 크기와 트리 복잡성 양측에 명확한 감소 효과가 있음을 입증한다.